[논문 리뷰] Learning Concepts Definable in First-Order Logic with Counting

Steffen van Bergerem|arXiv (Cornell University)|2019. 09. 09.

Machine Learning and Algorithms참고 문헌 70인용 수 6

한 줄 요약

이 논문은 다항로그형도 구조에서의 다항로그형도를 가진 관계 구조에서 첫 번째 순서 논리와 수량화를 포함한 FOCN로 정의 가능한 부울 분류 문제는 하위선형 시간 내에서 일致하게 학습될 수 있음을 입증한다. 또한 이 결과를 최대 (log log n)^c 정도의 도수를 가진 구조에서의 일반화된 PAC 학습으로 확장하여, 논리 내에서의 수치적 집계가 도수 제약 조건 하에서 효율적인 학습을 가능하게 하며, 도수가 무한한 경우 심지어 단순한 첫 번째 순서 논리라도 하위선형 학습이 불가능하다는 것을 보여준다.

ABSTRACT

We study Boolean classification problems over relational background structures in the logical framework introduced by Grohe and Turán (TOCS 2004). It is known (Grohe and Ritzert, LICS 2017) that classifiers definable in first-order logic over structures of polylogarithmic degree can be learned in sublinear time, where the degree of the structure and the running time are measured in terms of the size of the structure. We generalise the results to the first-order logic with counting FOCN, which was introduced by Kuske and Schweikardt (LICS 2017) as an expressive logic generalising various other counting logics. Specifically, we prove that classifiers definable in FOCN over classes of structures of polylogarithmic degree can be consistently learned in sublinear time. This can be seen as a first step towards extending the learning framework to include numerical aspects of machine learning. We extend the result to agnostic probably approximately correct (PAC) learning for classes of structures of degree at most $(\log \log n)^c$ for some constant $c$. Moreover, we show that bounding the degree is crucial to obtain sublinear-time learning algorithms. That is, we prove that, for structures of unbounded degree, learning is not possible in sublinear time, even for classifiers definable in plain first-order logic.

연구 동기 및 목표

• 순수한 첫 번째 순서 논리에서의 하위선형 시간 학습 결과를 첫 번째 순서 논리와 수량화(FOCN)로 확장하기.
• 논리 내에서의 수량화를 통한 수치적 집계가 하위선형 시간 내에서 효율적인 학습을 가능하게 하는지 조사하기.
• 특히 수량화가 존재하는 상황에서 도수 제약 조건이 하위선형 학습에 필수적인지 여부를 규명하기.
• 성장하는 도수 제약 조건 하에서 일관된 학습 결과를 일반화된 PAC 학습으로 일반화하기.
• 계산 가능한 수치 연산(예: 수량화 및 집계)을 포함하는 논리적 프레임워크에서의 학습 가능성의 한계 탐색하기.

제안 방법

• 낮은 도수의 구조에서 공식을 국소화하기 위해 가이프만 스타일의 국소성과 한프 정규형을 활용한다.
• 반경이 유한한 구조 공식을 사용하여 국소적 성질을 표현함으로써 효율적인 가설 열거를 가능하게 한다.
• 학습 예제들로부터 가설을 학습하기 위해 AERM 알고리즘(과도한 중복 모델 제거)을 적용한다.
• 작은 구조의 이somorphism 유형을 사용하여 비동일한 가설의 수를 제한함으로써 |A|에 대한 다항식 의존성을 보여준다.
• PAC 경계를 통해 관련 학습 예제의 수를 제한함으로써 하위선형 실행 시간을 확립한다.
• 도수 제약 조건이 필수적임을 보이기 위해, 무한도수의 구조에서는 하위선형 학습이 불가능하다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 FOCN로 정의 가능한 분류기는 다항로그형도를 가진 관계 구조에서 하위선형 시간 내에 학습될 수 있는가?
• RQ2 첫 번째 순서 논리에 수량화를 포함함으로써 성장하는 도수 제약 조건 하에서 하위선형 시간 내의 일반화된 PAC 학습이 가능한가?
• RQ3 도수 제약 조건이 하위선형 학습에 본질적인 장벽이 되는가, 심지어 순수한 첫 번째 순서 논리의 경우에도?
• RQ4 FOCN에 대한 학습 가능성 결과는 수치적 집계를 포함하는 더 표현력이 강한 논리로 확장될 수 있는가?
• RQ5 한프 정규형 또는 국소성 기반 기법이 FOCN 및 관련 논리에서의 학습 가능성 보장을 위해 충분한가?

주요 결과

• 도수가 최대 (log log n)^c 이하인 구조에서 FOCN 분류기는 일관된 학습 및 일반화된 PAC 학습 모델 모두에서 하위선형 시간 내에 학습 가능하다.
• 비동일한 가설의 수는 어떤 상수 ℓ와 서명 σ에 대해 O(|A|^{ℓ + |σ|}) 이하로 제한되며, 이는 효율적인 학습을 가능하게 한다.
• 하위선형 실행 시간은 필요한 학습 예제의 수를 O(log |A| / ε²)로 제한함으로써 달성되며, 이는 구조 크기 대비 하위선형이다.
• 도수 제약 조건은 핵심적이다: 무한도수의 구조에서는 심지어 순수한 첫 번째 순서 논리의 경우라도 하위선형 학습이 불가능하다.
• 수량화와 같은 수치 연산이 논리적 학습 프레임워크에 통합될 수 있으며, 이는 효율적이고 확장 가능한 학습을 달성할 수 있음을 확인한다.