[논문 리뷰] Universal Bayes consistency in metric spaces

Steve Hanneke, Aryeh Kontorovich외 2명|arXiv (Cornell University)|2019. 06. 24.

Machine Learning and Algorithms참고 문헌 34인용 수 6

한 줄 요약

이 논문은 모든 '기본적으로 분리 가능한'(essentially separable) 메트릭 공간에서 보편적인 강한 베이즈 일致성을 달성하는 새로운 1-최근접 이웃 기반 학습 알고리즘인 OptiNet을 소개한다. 이는 표준 분리 가능한 메트릭 공간보다 넓은 범주인 기본적으로 분리 가능한 메트릭 공간 전역에서 보편적인 베이즈 일치성이 가능하다는 것을 증명한다. 또한 보편적인 베이즈 일치성이 가능하려면 메트릭 공간이 기본적으로 분리 가능해야만 하는 것이며, 이는 보편적인 베이즈 일치성에 대한 첫 번째 불가능성 결과를 확립하고 OptiNet을 메트릭 공간에서 첫 번째 낙관적 보편적인 베이즈 일관성 학습자로 만든다.

ABSTRACT

We extend a recently proposed 1-nearest-neighbor based multiclass learning algorithm and prove that our modification is universally strongly Bayes-consistent in all metric spaces admitting any such learner, making it an "optimistically universal" Bayes-consistent learner. This is the first learning algorithm known to enjoy this property; by comparison, the $k$-NN classifier and its variants are not generally universally Bayes-consistent, except under additional structural assumptions, such as an inner product, a norm, finite dimension, or a Besicovitch-type property. The metric spaces in which universal Bayes consistency is possible are the "essentially separable" ones -- a notion that we define, which is more general than standard separability. The existence of metric spaces that are not essentially separable is widely believed to be independent of the ZFC axioms of set theory. We prove that essential separability exactly characterizes the existence of a universal Bayes-consistent learner for the given metric space. In particular, this yields the first impossibility result for universal Bayes consistency. Taken together, our results completely characterize strong and weak universal Bayes consistency in metric spaces.

연구 동기 및 목표

• 학습 알고리즘이 보편적으로 베이즈 일관성이 성립하는 메트릭 공간을 완전히 특성화하는 것.
• 유한 차원이나 노름 구조와 같은 제약 조건 없이, 최근접 이웃 기반 알고리즘이 보편적인 베이즈 일관성을 달성할 수 있는지 여부를 해결하는 것.
• 표준 분리 가능성의 일반화인 '기본적으로 분리 가능한' 메트릭 공간의 개념을 정의하고 분석하는 것.
• OptiNet가 기본적으로 분리 가능한 메트릭 공간에서만 보편적으로 강하게 베이즈 일관성이 있음을 증명하여 정밀한 특성화를 확립하는 것.
• 일부 집합론적 가정 하에 비기본적으로 분리 가능한 공간에서는 어떤 보편적인 베이즈 일관성 학습자도 존재할 수 없음을 보여주는 첫 번째 불가능성 결과를 도출하는 것.

제안 방법

• Kontorovich 등(2017)에서 처음 제안된 압축 기반 접근 방식을 일반적인 메트릭 공간에서 다중 분류 문제에 적용하여 확장한, 일반화된 1-NN 알고리즘인 OptiNet을 제안한다.
• 기본적으로 분리 가능한 메트릭 공간의 개념을 도입한다: 메트릭 공간이 기본적으로 분리 가능하다는 것은 모든 확률 측도가 분리 가능한 부분공간에 지지된다는 것을 의미한다.
• 가측 카디널과 정규 측도와 같은 집합론적 도구를 사용하여 비기본적으로 분리 가능한 공간의 존재성과 학습에 대한 영향을 분석한다.
• 측도 이론적 및 위상 수학적 추론을 통해 OptiNet이 모든 기본적으로 분리 가능한 메트릭 공간에서 보편적으로 강하게 베이즈 일관성이 있음을 증명한다.
• 비기본적으로 분리 가능한 메트릭 공간이 존재하는 모든 집합론적 모델에서 보편적인 베이즈 일관성 학습자가 존재할 수 없음을 증명함으로써 불가능성 결과를 확립한다.
• 모든 메트릭 공간에 대해 Borel 측도 가능한 전순서를 정의할 수 있음을 보여주는 Borel 동형사상(일반화된 Baire 공간로의 동형사상)을 활용하여 알고리즘의 구축과 분석를 지원한다.

실험 결과

연구 질문

• RQ1 어떤 메트릭 공간에서 보편적인 베이즈 일관성 학습자가 존재하는가?
• RQ2 유한 차원, 노름, 내적과 같은 조건 없이 최근접 이웃 기반 알고리즘이 보편적인 베이즈 일관성을 달성할 수 있는가?
• RQ3 메트릭 공간에서 보편적인 베이즈 일관성 학습자의 존재를 특성화하는 정확한 위상수학적 또는 집합론적 조건은 무엇인가?
• RQ4 보편적인 베이즈 일관성이 가능한 순간에 항상 성공하는 학습 알고리즘—즉, '낙관적 보편성'을 가진 알고리즘을 구축할 수 있는가?
• RQ5 집합론적 공리(예: ZFC와의 독립성)가 보편적인 베이즈 일관성 학습자의 존재성에 미치는 영향은 무엇인가?

주요 결과

• OptiNet는 모든 기본적으로 분리 가능한 메트릭 공간에서 보편적으로 강하게 베이즈 일관성이 있음을 입증하여, 이 클래스가 보편적인 베이즈 일관성에 충분함을 보여준다.
• 비기본적으로 분리 가능한 메트릭 공간에서는 집합론적 모델에서 이러한 공간의 존재를 允許하는 가정 하에 보편적인 베이즈 일관성이 불가능하다는 것을 증명한다.
• 비기본적으로 분리 가능한 메트릭 공간의 존재성은 ZFC와 독립적이며, 이러한 모델에서는 어떤 보편적인 베이즈 일관성 학습자도 존재하지 않는다.
• 기본적인 분리 가능성은 보편적인 베이즈 일관성 학습자의 존재에 필수적이고 충분한 조건임을 입증하여, 메트릭 공간에서 강한 및 약한 보편적인 베이즈 일관성의 완전한 특성화를 달성한다.
• OptiNet는 보편적으로 베이즈 일관성이 가능한 순간에 항상 성공하는 알고리즘으로 알려진 첫 번째 학습 알고리즘이며, 메트릭 공간에서 첫 번째의 '낙관적 보편성' 학습자이다.
• 결과적으로 이 연구는 $k$-NN 및 유사 방법이 추가적인 구조적 가정(예: 유한 차원 또는 듀얼링 차원) 없이 보편적인 베이즈 일관성이 성립하지 않는다는 것을 보여줌으로써 오랫동안 남아있던 열린 문제를 해결한다.