[논문 리뷰] Limit Learning Equivalence Structures

Ekaterina Fokina, Timo Kötzing외 1명|arXiv (Cornell University)|2019. 02. 21.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 $\Delta^0_2$-계산 가능 학습 기준 $\mathbf{InfEx}$ 하에서 등가 구조의 가족이 어떤 것이 한정된 학습이 가능한지 완전한 특성화를 제공하며, 등가 구조의 균일한 열거 가능 가족은 $0^{\prime\prime}$로 제한된 계산 복잡도를 가진다. 또한 구조 학습과 해당 형식 언어의 가족을 위한 학습 결과 간의 이동을 가능하게 하는 표준 인코딩을 통한 등가성 관계를 확립한다.

ABSTRACT

While most research in Gold-style learning focuses on learning formal languages, we consider the identification of computable structures, specifically equivalence structures. In our core model the learner gets more and more information about which pairs of elements of a structure are related and which are not. The aim of the learner is to find (an effective description of) the isomorphism type of the structure presented in the limit. In accordance with language learning we call this learning criterion InfEx-learning (explanatory learning from informant). Our main contribution is a complete characterization of which families of equivalence structures are InfEx-learnable. This characterization allows us to derive a bound of $\mathbf{0''}$ on the computational complexity required to learn uniformly enumerable families of equivalence structures. We also investigate variants of InfEx-learning, including learning from text (where the only information provided is which elements are related, and not which elements are not related) and finite learning (where the first actual conjecture of the learner has to be correct). Finally, we show how learning families of structures relates to learning classes of languages by mapping learning tasks for structures to equivalent learning tasks for languages.

연구 동기 및 목표

• 학습자가 원소 간 등가성에 대한 완전하고 정확한 양성 및 부정성 정보를 수신할 때, 등가 구조의 가족이 $\mathbf{InfEx}$ 학습 기준 하에서 한정된 학습이 가능한지의 조건을 규명한다.
• 균일하게 열거 가능한 등가 구조의 가족을 학습하기 위해 필요한 정확한 계산 복잡도를 규명하며, 이 복잡도가 $0^{\prime\prime}$로 제한됨을 보여준다.
• $\mathbf{InfEx}$의 변형, 즉 텍스트(양성 정보만)로부터의 학습과 유한 학습(첫 시도에서 정확한 추측)을 고려한다.
• 등가 구조의 가족 학습과 해당 형식 언어의 가족 학습 간의 공식적 대응 관계를 표준 인코딩을 통해 수립한다. 이는 등가 구조의 이sovomorphism 유형을 언어로 인코딩하는 방식이다.
• 가족 $\mathfrak{A}$에 대해 $\mathbf{InfEx}_{\cong}$-학습 가능성이 해당 언어 가족 $\bigcup_{\mathcal{A}\in\mathfrak{A}} \mathcal{L}_{\mathcal{A}}$에 대한 $\mathbf{TxtEx}$-학습 가능성과 동치임을 보여준다.

제안 방법

• 논문은 학습을 학습자가 등가 관계에 대한 완전하고 정확하며 점점 증가하는 정보를 수신하는 인포머( informant )를 통해 구조의 이sovomorphism 유형이 특정될 때까지 진행되는 과정으로 모델링한다.
• 등가 구조를 형식 언어로의 표준 인코딩을 도입한다: 크기가 $a$인 등가 클래스는 인덱스 $i$에 대응되며, 언어 $L(g_A \circ \pi)$는 $j < a$인 모든 쌍 $\langle i,j \rangle$를 인코딩한다. 여기서 $g_A(i)$는 $i$-번째 클래스의 크기를 의미한다.
• 학습자는 입력 데이터로부터 유한한 구조를 구성하고, 원소를 등가 관계에 따라 인덱스 $i$에 할당하며, 각 클래스의 크기 $g(i)$를 계산하고, 후보 이sovomorphism 유형과의 일관성을 검토한다.
• 수렴 보장에 위해 Angluin의 tell-tale 조건을 사용한다: 최소 일관성 언어가 발견되면 학습자는 정확한 추측으로 안정화된다.
• 구조에 대한 학습자 $M^\prime$의 구성은 현재 데이터가 유한 언어 $\{\langle i,j \rangle \mid j < g(i)\}$의 최소 초집합과 일치하는지 확인하고, 해당 이sovomorphism 유형을 추측하는 방식이다.
• 표준 인코딩에 기반한 유한 순열과 일관성 있는 언어 인코딩 간의 이분법적 대응 관계를 통해, 한 영역에서의 수렴이 다른 영역의 수렴을 보장함으로써, 구조 학습과 언어 학습 간의 등가성을 증명한다.

실험 결과

연구 질문

• RQ1 등가 구조의 가족 중 $\mathbf{InfEx}$-학습 가능한 것은 무엇이며, 이러한 가족의 정확한 특성화는 무엇인가?
• RQ2 균일하게 열거 가능한 등가 구조의 가족을 학습하기 위해 필요한 정확한 계산 복잡도는 무엇인가?
• RQ3 등가 구조에 대해 인포머($\mathbf{Inf}$)로부터의 학습과 텍스트($\mathbf{Txt}$)로부터의 학습 간 학습 가능성은 어떻게 비교되는가?
• RQ4 등가 구조의 가족 학습 문제는 형식 언어의 가족 학습 문제로 환원될 수 있는가? 만약 가능하면 어떤 조건에서 가능한가?
• RQ5 등가 구조의 가족에 대해 $\mathbf{InfEx}_{\cong}$-학습 가능성이 그에 해당하는 언어 가족에 대해 $\mathbf{TxtEx}$-학습 가능성과 균일하게 대응되는가?

주요 결과

• 논문은 $\mathbf{InfEx}$-학습 가능한 등가 구조의 가족에 대한 완전한 특성화를 제공하며, 이러한 가족은 정확히 균일하게 열거 가능하고, 이sovomorphism 하에서 특정 일관성 조건을 만족하는 가족임을 보여준다.
• 균일하게 열거 가능한 등가 구조의 가족을 학습하는 데 필요한 계산 복잡도는 $0^{\prime\prime}$로 제한되며, 이는 이 설정에서 최적임을 보여준다.
• 가족 $[5:\omega, 6:2]$와 $[5:\omega, 7:1]$이 $\mathbf{InfFin}$-학습 가능하다는 것이 입증되었으며, 이는 비트리비얼한 가족에 대해서도 유한 학습이 가능하다는 것을 보여준다.
• 등가 구조의 이sovomorphism 유형을 언어로의 표준 인코딩을 통해, 가족 $\mathfrak{A}$에 대해 $\mathbf{InfEx}_{\cong}$-학습 가능성이 해당 언어 가족 $\bigcup_{\mathcal{A}\in\mathfrak{A}} \mathcal{L}_{\mathcal{A}}$에 대한 $\mathbf{TxtEx}$-학습 가능성과 정확히 동치임을 보여준다.
• 학습자의 구성은 수렴을 보장한다: 정확한 이sovomorphism 유형이 특정되면 더 이상 추측을 하지 않으며, 학습자는 정확한 기술로 안정화된다.
• 증명은 표준 목록에서 유한 순열의 최소성에 기반하며, 이는 이전의 잘못된 추측이 데이터와 일치하지 않았을 것이므로, 안정화 시점에 정확성이 보장됨을 보장한다.