[논문 리뷰] A learning problem that is independent of the set theory ZFC axioms

Shai Ben-David, Pavel Hrubeš외 3명|arXiv (Cornell University)|2017. 11. 14.

Machine Learning and Algorithms참고 문헌 16인용 수 3

한 줄 요약

이 논문은 실수선의 유한 부분집합에 대해 가чёт수 지지측도 하에 기대값 최대화(EMX) 학습 문제의 학습 가능성은 체르멜로-프렝켈 집합론에 선택공리(AC)를 추가한 ZFC 집합론과 독립적임을 보여준다. 핵심 결과는 이러한 클래스의 EMX-학습 가능성 여부가 연속체의 기수에 따라 달라지며, 이 기수는 ZFC 내에서 결정될 수 없기에, VC차원과 같은 유한 특성 조합적 매개변수로는 EMX 학습 가능성의 전반적인 특성을 기술할 수 없다는 점을 시사한다.

ABSTRACT

We consider the following statistical estimation problem: given a family F of real valued functions over some domain X and an i.i.d. sample drawn from an unknown distribution P over X, find h in F such that the expectation of h w.r.t. P is probably approximately equal to the supremum over expectations on members of F. This Expectation Maximization (EMX) problem captures many well studied learning problems; in fact, it is equivalent to Vapnik's general setting of learning. Surprisingly, we show that the EMX learnability, as well as the learning rates of some basic class F, depend on the cardinality of the continuum and is therefore independent of the set theory ZFC axioms (that are widely accepted as a formalization of the notion of a mathematical proof). We focus on the case where the functions in F are Boolean, which generalizes classification problems. We study the interaction between the statistical sample complexity of F and its combinatorial structure. We introduce a new version of sample compression schemes and show that it characterizes EMX learnability for a wide family of classes. However, we show that for the class of finite subsets of the real line, the existence of such compression schemes is independent of set theory. We conclude that the learnability of that class with respect to the family of probability distributions of countable support is independent of the set theory ZFC axioms. We also explore the existence of a "VC-dimension-like" parameter that captures learnability in this setting. Our results imply that that there exist no "finitary" combinatorial parameter that characterizes EMX learnability in a way similar to the VC-dimension based characterization of binary valued classification problems.

연구 동기 및 목표

• 알 수 없는 분포 하에서 기대값을 최대화하는 함수를 찾는 EMX 학습 가능성은 유한 조합적 매개변수로 특성화될 수 있는가를 조사하기 위해.
• 표본 복잡도와 학습 가능성의 집합론적 가정, 특히 연속체의 기수에 대한 의존성을 탐색하기 위해.
• 이진 분류에서 VC차원이 수행하는 방식과 유사하게 EMX 학습 가능성의 특성을 기술하는 VC차원 유사 매개변수의 존재 여부를 규명하기 위해.
• EMX-학습 가능한 클래스에 대해 단조성 압축 체계의 존재 또는 부재를 확립하기 위해.
• EMX 학습 가능성은 조건부 학습 가능성(예: 상수 오차 1/3)조차도 다양한 집합론적 모델 간에 안정적이지 않음을 보여주기 위해.

제안 방법

• 합집합에 대한 함수 클래스에 대해 EMX 학습 가능성을 특성화하기 위해 '단조성 압축 체계'라고 불리는 표본 압축 체계의 새로운 변종을 도입하기 위해.
• 단조성 압축 체계가 EMX 학습 가능성을 암시하고, 닫힘 조건 하에서는 반대로 EMX 학습 가능성에서 이러한 체계의 존재가 유도됨을 증명하기 위해.
• 집합론의 강제 기법(forcing techniques)을 사용해 ZFC의 두 모델을 구성하기 위해: 하나는 연속체 가설이 성립하는 모델($2^{\beth_0} = \aleph_1$)이고, 다른 하나는 $2^{\beth_0} > \aleph_\omega$인 모델이다.
• 첫 번째 모델에서는 $\mathbb{R}$의 유한 부분집합의 클래스가 일정한 표본 크기로 EMX-학습 가능하다는 것을 보여주고, 두 번째 모델에서는 어떤 유한한 표본 크기로도 충분하지 않다는 것을 보여주기 위해.
• 모델 간에 유한 특성 조건이 보존됨을 이용해, 그러한 조건이 EMX 학습 가능성을 포괄할 수 없다는 것을 보여주기 위해.
• 집합론적 기수와 학습 가능성 간의 관계를 분석하기 위해 유한 초집합 복원 게임을 조합론적 도구로 활용하기 위해.

실험 결과

연구 질문

• RQ1 EMX 학습 가능성은 VC차원과 유사한 유한 조합적 매개변수로 특성화될 수 있는가?
• RQ2 EMX 학습을 위한 표본 압축 체계의 존재 여부는 연속체에 대한 집합론적 가정에 따라 달라지는가?
• RQ3 $\mathbb{R}$의 유한 부분집합의 클래스에 대한 EMX 학습 가능성은 ZFC의 다양한 모델 간에 동일한가?
• RQ4 예를 들어 상수 오차 1/3로 약한 EMX 학습 가능성은 유한 특성 조건으로 기술될 수 있는가?
• RQ5 함수 클래스에 강한 닫힘 조건이 없더라도 EMX 학습 가능성에 대해 집합론적 독립성 결과가 존재하는가?

주요 결과

• 실수선의 유한 부분집합의 특성 함수 클래스에 대한 EMX 학습 가능성은 연속체의 기수에 따라 달라지며, 이는 ZFC와 독립적이다.
• 모델에서 $2^{\beth_0} = \aleph_1$이면, 이 클래스는 일정한 표본 수로 EMX-학습 가능하다.
• 모델에서 $2^{\beth_0} > \aleph_\omega$이면, 이 클래스의 EMX 학습에는 어떤 유한한 표본 수로도 충분하지 않다.
• 단조성 압축 체계는 합집합에 대한 클래스에 대해 EMX 학습 가능성을 특성화하지만, 이 특정 클래스에 대해서는 그 존재 여부가 ZFC와 독립적이다.
• VC차원이 이진 분류 학습 가능성의 특성을 기술하는 방식과 동일하게 EMX 학습 가능성의 특성을 포괄하는 데에는 어떤 유한 특성 조합적 성질도 존재하지 않는다.
• 약한 학습 가능성(예: 상수 오차 1/3)의 경우에도 이 결과는 유지되며, 학습 가능성의 核심 개념이 기본적으로 집합론적 의존성에 놓여 있음을 시사한다.