[论文解读] Limit Learning Equivalence Structures

Ekaterina Fokina, Timo Kötzing+1 more|arXiv (Cornell University)|Feb 21, 2019

Machine Learning and Algorithms被引用 6

一句话总结

本文完整刻画了在 $Δ^0_2$-可计算学习准则 $\mathbf{InfEx}$ 下哪些等价结构族是可极限学习的，表明一致可枚举的等价结构族在 $0^{\prime\prime}$ 计算复杂度边界内是可学习的。此外，本文通过一种规范编码建立了结构学习与对应形式语言族学习之间的等价关系，实现了两个领域间学习结果的转移。

ABSTRACT

While most research in Gold-style learning focuses on learning formal languages, we consider the identification of computable structures, specifically equivalence structures. In our core model the learner gets more and more information about which pairs of elements of a structure are related and which are not. The aim of the learner is to find (an effective description of) the isomorphism type of the structure presented in the limit. In accordance with language learning we call this learning criterion InfEx-learning (explanatory learning from informant). Our main contribution is a complete characterization of which families of equivalence structures are InfEx-learnable. This characterization allows us to derive a bound of $\mathbf{0''}$ on the computational complexity required to learn uniformly enumerable families of equivalence structures. We also investigate variants of InfEx-learning, including learning from text (where the only information provided is which elements are related, and not which elements are not related) and finite learning (where the first actual conjecture of the learner has to be correct). Finally, we show how learning families of structures relates to learning classes of languages by mapping learning tasks for structures to equivalent learning tasks for languages.

研究动机与目标

• 刻画在 $\mathbf{InfEx}$ 学习准则下哪些等价结构族可极限学习，其中学习者接收关于元素等价性的完整正负信息。
• 确定学习一致可枚举的等价结构族所需的精确计算复杂度，表明其受 $0^{\prime\prime}$ 限制。
• 研究 $\mathbf{InfEx}$ 的变体，包括仅从文本（仅正信息）学习和有限学习（首次尝试即正确推测）。
• 通过将同构类型规范编码为语言，建立可计算等价结构族学习与对应形式语言族学习之间的正式对应关系。
• 证明结构族的 $\mathbf{InfEx}_{\cong}$-可学习性与对应语言族的 $\mathbf{TxtEx}$-可学习性等价。

提出的方法

• 本文将学习建模为一个过程：学习者接收一个告知者——关于哪些元素对等价或不等价的完整、准确且递增的信息——直到识别出结构的同构类型。
• 引入一种等价结构到形式语言的规范编码：每个大小为 $a$ 的等价类关联一个索引 $i$，语言 $L(g_A \circ \pi)$ 编码所有满足 $j < a$ 的对 $\langle i,j \rangle$，其中 $g_A(i)$ 表示第 $i$ 个类的大小。
• 学习者从输入数据构建有限结构，根据等价性将元素分配到索引 $i$，计算每个类的大小 $g(i)$，然后检查其与候选同构类型的相容性。
• 使用 Angluin 的“告警条件”确保收敛：一旦找到最小一致语言，学习者即稳定在正确推测上。
• 结构学习者 $M^\prime$ 的构造基于检查当前数据是否与有限语言 $\{\langle i,j \rangle \mid j < g(i)\}$ 的最小超集一致，并推测相应的同构类型。
• 通过索引的有限置换与一致语言编码之间的双射，证明了结构学习与语言学习之间的等价性，确保一个领域中的收敛意味着另一个领域中的收敛。

实验结果

研究问题

• RQ1 哪些等价结构族是 $\mathbf{InfEx}$-可学习的，此类族的精确刻画是什么？
• RQ2 学习一致可枚举的等价结构族所需的精确计算复杂度是什么？
• RQ3 从告知者 ($\mathbf{Inf}$) 学习与从文本 ($\mathbf{Txt}$) 学习相比，对等价结构族的可学习性有何差异？
• RQ4 能否将等价结构族学习问题约化为形式语言族学习问题，若能，其条件是什么？
• RQ5 是否存在 $\mathbf{InfEx}_{\cong}$-可学习的结构族与对应语言族的 $\mathbf{TxtEx}$-可学习性之间的统一对应关系？

主要发现

• 本文完整刻画了 $\mathbf{InfEx}$-可学习的等价结构族，表明此类族恰好是那些一致可枚举且在同构下满足特定相容性条件的族。
• 学习一致可枚举的等价结构族的计算复杂度受 $0^{\prime\prime}$ 限制，即二阶图灵跳跃，此复杂度在此设定下为最优。
• 证明了等价结构族 $[5:\omega, 6:2]$ 和 $[5:\omega, 7:1]$ 是 $\mathbf{InfFin}$-可学习的，表明某些非平凡族可实现有限学习。
• 通过将同构类型规范编码为语言，本文建立了结构族 $\mathfrak{A}$ 的 $\mathbf{InfEx}_{\cong}$-可学习性与对应语言族 $\bigcup_{\mathcal{A}\in\mathfrak{A}} \mathcal{L}_{\mathcal{A}}$ 的 $\mathbf{TxtEx}$-可学习性之间的精确等价关系。
• 学习者构造确保收敛：一旦识别出正确的同构类型，不再做出进一步推测，学习者稳定在正确描述上。
• 证明依赖于规范列举中有限置换的最小性，确保任何早期错误推测均与数据不一致，从而在稳定时保证正确性。