[論文レビュー] Limit Learning Equivalence Structures

Ekaterina Fokina, Timo Kötzing+1 more|arXiv (Cornell University)|Feb 21, 2019

Machine Learning and Algorithms被引用数 6

ひとこと要約

本稿は、$Δ^0_2$-計算可能学習基準 $\mathbf{InfEx}$ における限界学習の下で、同値構造の族がどの程度学習可能であるかを完全に特徴づける。同値構造の族が一様に再帰的である場合、その学習の計算的複雑性は $0^{\prime\prime}$ で抑えられることを示している。さらに、構造の族の学習とそれに対応する形式言語の族の学習との間で、標準的符号化を通じて同型型を介した等価性を確立し、両分野間での学習結果の移行を可能にしている。

ABSTRACT

While most research in Gold-style learning focuses on learning formal languages, we consider the identification of computable structures, specifically equivalence structures. In our core model the learner gets more and more information about which pairs of elements of a structure are related and which are not. The aim of the learner is to find (an effective description of) the isomorphism type of the structure presented in the limit. In accordance with language learning we call this learning criterion InfEx-learning (explanatory learning from informant). Our main contribution is a complete characterization of which families of equivalence structures are InfEx-learnable. This characterization allows us to derive a bound of $\mathbf{0''}$ on the computational complexity required to learn uniformly enumerable families of equivalence structures. We also investigate variants of InfEx-learning, including learning from text (where the only information provided is which elements are related, and not which elements are not related) and finite learning (where the first actual conjecture of the learner has to be correct). Finally, we show how learning families of structures relates to learning classes of languages by mapping learning tasks for structures to equivalent learning tasks for languages.

研究の動機と目的

• 学習者が要素の同値関係について完全で正しく、増大する情報（インフォーマント）を受信する条件下で、同値構造の族が限界学習可能である条件を特徴づけること。
• 一様に再帰的である族の同値構造を学習するのに必要な正確な計算的複雑性を特定し、それが $0^{\prime\prime}$ で抑えられることを示すこと。
• $\mathbf{InfEx}$ の変種、特にテキストからの学習（正例情報のみ）と有限学習（最初の試行で正しい推測を下す）についての学習可能性を調査すること。
• 構造の族の学習と、それに対応する形式言語の族の学習との間の正式な対応関係を、同型型を言語に標準的符号化することで確立すること。
• 構造族の $\mathbf{InfEx}_{\cong}$-学習可能性が、対応する言語族の $\mathbf{TxtEx}$-学習可能性と等価であることを示すこと。

提案手法

• 本稿は、学習を、同値関係に関する完全で正確かつ増大する情報（インフォーマント）を受信することで、構造の同型型が特定されるまで継続するプロセスとしてモデル化する。
• 同値構造を形式言語に標準的符号化する：サイズ $a$ の同値類はインデックス $i$ に対応し、言語 $L(g_A \circ \pi)$ はすべてのペア $\langle i,j \rangle$（$j < a$）を符号化する。ここで $g_A(i)$ は $i$ 番目のクラスのサイズを表す。
• 学習者は入力データから有限構造を構築し、要素をインデックス $i$ に割り当て、各クラスのサイズ $g(i)$ を計算し、候補となる同型型と整合性があるかを確認する。
• 収束を保証するため、Angluin の「tell-tale 条件」を用いる：最小の整合的言語が見つかった段階で、学習者は正しい推測に安定する。
• 構造のための学習者 $M^\prime$ の構成は、現在のデータが有限言語 $\{\langle i,j \rangle \mid j < g(i)\}$ の最小の上位集合と整合しているかどうかをチェックし、それに対応する同型型を推測する。
• 構造学習と言語学習の間の同値性は、インデックスの有限置換と整合的言語符号化との間の全単射を通じて証明され、一方の分野での収束が他方の分野でも保証される。

実験結果

リサーチクエスチョン

• RQ1 どの同値構造の族が $\mathbf{InfEx}$-学習可能であり、その族の正確な特徴づけは何か？
• RQ2 一様に再帰的である族の同値構造を学習するのに必要な正確な計算的複雑性は何か？
• RQ3 同値構造の文脈において、インフォーマントからの学習（$\mathbf{Inf}$）とテキストからの学習（$\mathbf{Txt}$）の学習可能性はどのように比較できるか？
• RQ4 同値構造の族の学習問題を、形式言語の族の学習問題に還元できるか？もしそうなら、どのような条件下で可能か？
• RQ5 構造族の $\mathbf{InfEx}_{\cong}$-学習可能性と、それに対応する言語族の $\mathbf{TxtEx}$-学習可能性との間に一様な対応関係が存在するか？

主な発見

• 本稿は、$\mathbf{InfEx}$-学習可能な同値構造の族を完全に特徴づけ、その族が一様に再帰的かつ同型の下であるある整合性条件を満たす族であることを示している。
• 一様に再帰的である族の同値構造を学習する計算的複雑性は $0^{\prime\prime}$ で抑えられ、これはこの文脈において最適である。
• 族 $[5:\omega, 6:2]$ および $[5:\omega, 7:1]$ が $\mathbf{InfFin}$-学習可能であることが示され、非自明な族に対しても有限学習が可能であることを示している。
• 同型型を言語に標準的符号化することにより、構造族 $\mathfrak{A}$ の $\mathbf{InfEx}_{\cong}$-学習可能性と、対応する言語族 $\bigcup_{\mathcal{A}\in\mathfrak{A}} \mathcal{L}_{\mathcal{A}}$ の $\mathbf{TxtEx}$-学習可能性との間の正確な同値性を確立している。
• 学習者の構成により収束が保証される：正しい同型型が特定されると、以降の推測は一切行われず、学習者は正しい記述に安定する。
• 証明は、標準的リストにおける有限置換の最小性に依存しており、これにより、以前の誤った推測はデータと整合しないことが保証され、安定化時に正しさが保証される。