[논문 리뷰] Uniform Approximation and Bracketing Properties of VC classes

Terrence Adams, Andrew B. Nobel|arXiv (Cornell University)|2010. 07. 23.

Machine Learning and Algorithms참고 문헌 6인용 수 10

한 줄 요약

이 논문은 유한한 바프니크-처보넨키스(VC) 차원을 가진 임의의 집합 가족이 경계의 측도가 임의로 작게 만들 수 있는 유한 가측 분할에 의해 균일하게 근사 가능하다는 것을 증명한다. 핵심 기여는 VC 클래스에 대한 균일 근사 정리이며, 이는 유한한 브라켓 수, 에르고딕 샘플링 하에서의 균일 대수법칙, 그리고 균일 혼합 성질을 암시한다.

ABSTRACT

We show that the sets in a family with finite VC dimension can be uniformly approximated within a given error by a finite partition. Immediate corollaries include the fact that VC classes have finite bracketing numbers, satisfy uniform laws of averages under strong dependence, and exhibit uniform mixing. Our results are based on recent work concerning uniform laws of averages for VC classes under ergodic sampling.

연구 동기 및 목표

• VC 클래스의 집합에 대해 균일 근사 성질을 확립하여, 유한 분할 하에서 경계의 측도를 임의로 작게 만들 수 있음을 보여주기.
• 임의의 확률 측도 하에서 VC 클래스가 유한한 브라켓 수를 가짐을 입증하여, i.i.d.에서의 결과를 종속 샘플링으로 확장하기.
• VC 클래스에 대해 균일 대수법칙(Glivenko-Cantelli 성질)을 i.i.d.에서 정적 에르고딕 과정으로 확장하기.
• 약한 의존성 하에서 경험 과정과 기계학습에서의 균일 수렴에 대한 이론적 기반 제공하기.
• i.i.d. 설정을 초월하여 VC 클래스의 균일 혼합성과 브라켓 구조를 측도 이론적 분할 기법을 사용해 일반화하기.

제안 방법

• 유한 가측 분할 $ \pi $ 에 대해 집합 $ C \in \mathcal{C} $ 의 경계를 $ \pi $ 의 세포 중에서 $ C $ 와 그 여집합 양쪽과 양의 측도로 교차하는 세포들의 합집합으로 정의한다.
• 모든 $ \epsilon > 0 $ 에 대해, $ \sup_{C \in \mathcal{C}} \mu(\partial(C:\pi)) < \epsilon $ 를 만족하는 유한 가측 분할 $ \pi $ 가 존재함을 유한한 VC-차원 성질을 이용해 증명한다.
• 분할에서 생성된 커버링 브라켓 $ [C_l, C_u] $ 를 통해 $ \mu(C_u \setminus C_l) < \epsilon $ 를 확보하여, 브라켓 수의 유한성을 보장한다.
• 브라켓 수의 유한성과 Glivenko-Cantelli 성질 간의 관계를 연결하는 Blum-DeHardt 대수법칙을 활용하여, 균일 수렴을 에르고딕 과정으로 확장한다.
• 유도 단계에서 양의 측도 교차를 보장하기 위해 르베그 점과 부분 확률 측도 $ \nu_k $ 를 포함한 측도 이론적 구성 기법을 사용한다.
• 포트망테 정리와 이진 간격의 성질을 적용하여 측도 감쇠를 통제하고, 유도 구성에서 내부가 비어 있지 않은 교차를 보장한다.

실험 결과

연구 질문

• RQ1 모든 VC 클래스의 집합은 경계 측도가 임의로 작은 유한 가측 분할에 의해 균일하게 근사될 수 있는가?
• RQ2 클래스의 유한한 VC-차원은 임의의 확률 측도 하에서 유한한 브라켓 수를 암시하는가?
• RQ3 VC 클래스에 대해 균일 대수법칙은 i.i.d. 수열에서 정적 에르고딕 과정으로 확장될 수 있는가?
• RQ4 강한 의존성, 예를 들어 에르고딕성 하에서도 VC 클래스의 균일 혼합 성질이 유지되는가?
• RQ5 VC 클래스의 어떤 구조적 성질이 경계 측도가 균일하게 작은 유한 분할의 구성을 가능하게 하는가?

주요 결과

• 모든 $ \epsilon > 0 $ 에 대해, $ \sup_{C \in \mathcal{C}} \mu(\partial(C:\pi)) < \epsilon $ 를 만족하는 유한 가측 분할 $ \pi $ 가 존재함을 보여, VC 클래스에 대한 균일 근사가 성립함을 증명한다.
• 모든 가산 VC 클래스는 임의의 확률 측도 $ \mu $ 하에서 모든 $ \epsilon > 0 $ 에 대해 유한한 브라켓 수 $ N_{[\,]}(\epsilon, \mathcal{C}, \mu) $ 를 가진다.
• 정적 에르고딕 샘플링 하에서 VC 클래스에 대해 균일 강대수법칙이 성립한다: $ \sup_{C \in \mathcal{C}} \left| \frac{1}{n} \sum_{i=1}^n I_C(X_i) - \mu(C) \right| \to 0 $ 거의확실하게 $ n \to \infty $ 일 때.
• 결과는 VC 메이저 및 VC 그래프 클래스로도 확장되며, 유한한 브라켓 수 조건에서 균일 혼합 성질이 유도된다.
• 구성은 VC 클래스의 집합을 유도적으로 선택하여, 그들의 합집합이 $ 2^l $ 개의 세포를 생성하고, 중첩된 수준 집합 $ Q_l $ 과 양의 측도로 교차하도록 한다.
• 증명은 르베그 점, 부분 확률 측도 $ \nu_k $ 및 포트망테 정리를 포함한 측도 이론 도구를 사용하여, 경계에서의 양의 측도 교차를 보장한다.