[논문 리뷰] 2 Notes on Classes with Vapnik-Chervonenkis Dimension 1

Shai Ben-David|arXiv (Cornell University)|2015. 07. 19.

Machine Learning and Algorithms참고 문헌 2인용 수 7

한 줄 요약

이 논문은 VC 차원 1을 가진 개념 클래스가 단순한 트리 구조를 지님을 입증하며, 이로 인해 레이블링 정보를 단일 인스턴스로 완전히 압축할 수 있음을 보여준다. 또한 특정 집합론적 가정 하에 비가측성 문제로 인해 이러한 클래스에서 경험적 위험 최소화(Empirical Risk Minimization, ERM)가 치명적으로 실패할 수 있음을 밝혀내며, VC 이론의 표준 보장이 VC 차원 1 클래스조차도 ERM 성공을 보장하지 못함을 뒤흔든다.

ABSTRACT

The Vapnik-Chervonenkis dimension is a combinatorial parameter that reflects the "complexity" of a set of sets (a.k.a. concept classes). It has been introduced by Vapnik and Chervonenkis in their seminal 1971 paper and has since found many applications, most notably in machine learning theory and in computational geometry. Arguably the most influential consequence of the VC analysis is the fundamental theorem of statistical machine learning, stating that a concept class is learnable (in some precise sense) if and only if its VC-dimension is finite. Furthermore, for such classes a most simple learning rule - empirical risk minimization (ERM) - is guaranteed to succeed. The simplest non-trivial structures, in terms of the VC-dimension, are the classes (i.e., sets of subsets) for which that dimension is 1. In this note we show a couple of curious results concerning such classes. The first result shows that such classes share a very simple structure, and, as a corollary, the labeling information contained in any sample labeled by such a class can be compressed into a single instance. The second result shows that due to some subtle measurability issues, in spite of the above mentioned fundamental theorem, there are classes of dimension 1 for which an ERM learning rule fails miserably.

연구 동기 및 목표

• VC 차원 1을 가진 개념 클래스의 구조적 성질을 규명하는 것.
• 이러한 클래스에서 레이블링 정보가 단일 인스턴스로 압축될 수 있음을 보여주는 것.
• 유한한 VC 차원을 가짐에도 불구하고 경험적 위험 최소화(ERM)가 실패할 수 있는 조건을 규명하는 것.
• 기본 정리의 타당성에 있어 가측성의 역할을 드러내는 것.

제안 방법

• 도메인에 대해 트리 순서를 도입하여, 클래스의 모든 개념이 이 순서 하에서 초기 세그먼트가 되도록 하는 것.
• 레이블링을 정규화하고 VC 차원을 유지하기 위해 개념 클래스의 f-표현을 정의하는 것.
• 가설 간 레이블 일관성 기반으로 부분 순서 ≤fH를 구성하여 트리 구조를 유도하는 것.
• 연속체 가설을 사용하여 초기 세그먼트가 가산인 [0,1]에 대한 잘서열을 구성하는 것.
• 샘플의 양성 레이블과 일관된 h_r이 존재하는 가장 큰 r을 선택하는 ERM 규칙을 정의하는 것.
• 푸비니 정리의 실패를 적용하여 르베그 측도 하에서 {(x,y): x ≺ y}의 비가측성을 입증하는 것.

실험 결과

연구 질문

• RQ1 VC 차원 1을 가진 개념 클래스는 어떤 구조적 성질을 갖는가?
• RQ2 VC 차원 1 클래스에서의 레이블링 정보는 단일 인스턴스로 압축될 수 있는가?
• RQ3 기본 학습 정리가 성립하는 데에도 불구하고, 일부 VC 차원 1 클래스에서 경험적 위험 최소화(ERM)가 실패하는 이유는 무엇인가?
• RQ4 가측성 문제로 인해 표준 VC 이론의 ERM 보장 증명이 어떻게 붕괴되는가?

주요 결과

• 모든 VC 차원 1 개념 클래스는 각 개념이 그 순서 하에서 초기 세그먼트가 되는 트리 순서를 가진다.
• VC 차원 1 클래스에서의 어떤 샘플에서도 레이블링 정보는 그 클래스의 단순한 구조 덕분에 단일 인스턴스로 압축될 수 있다.
• 유일한 분포 하에서 ERM가 치명적으로 실패하는 VC 차원 1 클래스가 존재한다. 이는 VC 차원이 유한함에도 불구하고 그렇다.
• 이러한 실패의 원인은 르베그 측도 하에서 {(x,y): x ≺ y}의 비가측성에 기인하며, 이는 표준 VC 증명에서 이중 샘플 논증을 무효화한다.
• 이 예시는 초기 세그먼트가 가산이 되는 [0,1]에 대한 잘서열을 구성하기 위해 연속체 가설을 활용하며, 이로 인해 클래스에 속한 모든 개념이 르베그 측도로 가측성이 보장된다.
• 구축된 ERM 규칙에 따르면, 유일한 분포 하에서 일반화 오차는 거의 확실히 1이지만, 훈련 오차는 0이다.