[논문 리뷰] Computing the Shattering Coefficient of Supervised Learning Algorithms

Rodrigo Fernandes de Mello, Moacir Antonelli Ponti외 1명|arXiv (Cornell University)|2018. 05. 07.

Machine Learning and Algorithms참고 문헌 2인용 수 6

한 줄 요약

이 논문은 단일 또는 다중 (h-1)차원 초평면을 사용하여 h차원 힐버트 공간에서의 지도 학습 알고리즘의 분할 계수에 대한 폐쇄형 표현을 유도한다. 수치가 고정된 경우 성장 함수가 다항식적으로 증가함을 증명함으로써, 경험 위험에서 기대 위험으로의 균일 수렴이 경험 위험 최소화 원리에 따라 보장되며, 이는 일반적인 지도 학습 알고리즘에 대한 이론적 학습 보장을 제공한다.

ABSTRACT

The Statistical Learning Theory (SLT) provides the theoretical guarantees for supervised machine learning based on the Empirical Risk Minimization Principle (ERMP). Such principle defines an upper bound to ensure the uniform convergence of the empirical risk Remp(f), i.e., the error measured on a given data sample, to the expected value of risk R(f) (a.k.a. actual risk), which depends on the Joint Probability Distribution P(X x Y) mapping input examples x in X to class labels y in Y. The uniform convergence is only ensured when the Shattering coefficient N(F,2n) has a polynomial growing behavior. This paper proves the Shattering coefficient for any Hilbert space H containing the input space X and discusses its effects in terms of learning guarantees for supervised machine algorithms.

연구 동기 및 목표

• 지난 차원 힐버트 공간에서 작동하는 지도 학습 알고리즘의 분할 계수를 공식적으로 유도하는 것.
• 분할 계수가 다항식적으로 증가하는 조건을 확립하여 경험 위험이 기대 위험으로의 균일 수렴을 보장하는 것.
• 분석을 다중 초평면(p)으로 확장하고 그 영향을 정량화하는 것.
• 원하는 일반화 오차 한계를 달성하기 위해 필요한 최소 훈련 샘플 크기를 계산하는 방법을 제공하는 것.
• 경험 위험 최소화 원리를 사용하여 지도 학습 알고리즘의 일반화 성능 평가를 위한 이론적 기초를 제공하는 것.

제안 방법

• 단일 초평면에 대해 h차원 힐버트 공간에서 $ \mathcal{N}(F,2n) = 2\sum_{i=0}^{h}\binom{n-1}{i} $로 분할 계수를 유도한다.
• 초평면이 일반 위치에 있는 데이터 포인트를 어떻게 분할하는지 기하학적 조합 기법을 사용하여 모델링하고, 분류자 집합이 유도하는 서로 다른 이분법의 수를 세는 방식으로 분석한다.
• 바프니크-처보넨크스 성장 함수 프레임워크를 적용하여 초평면으로 정의된 가설 공간의 용량을 분석한다.
• 단일 분할 계수의 곱을 이항 부등식으로 유계화하여 p개의 초평면으로 결과를 확장한다.
• 일반화 오차 한계의 로그 및 점근적 분석을 수행하여 샘플 크기 n 증가에 따른 수렴 조건을 도출한다.
• 이를 위해 $ \binom{m}{k} \leq \left(\frac{em}{k}\right)^k $ 부등식을 사용하여 단일 및 다중 초평면 케이스의 분할 계수에 대한 상한을 도출한다.

실험 결과

연구 질문

• RQ1 h차원 힐버트 공간에서 단일 (h-1)차원 초평면을 사용하는 지도 학습 알고리즘의 분할 계수의 정확한 형태는 무엇인가?
• RQ2 샘플 크기 n이 증가함에 따라 분할 계수가 점차적으로 어떻게 행동하는가? 이는 일반화에 어떤 의미를 갖는가?
• RQ3 p개의 초평면이 존재할 경우 성장 함수와 그로 인한 학습 보장에 어떤 영향을 미치는가?
• RQ4 주어진 일반화 오차 한계 $ \epsilon $를 높은 확률로 확보하기 위해 필요한 최소 샘플 크기는 얼마인가?
• RQ5 초평면 기반 분류자 맥락에서 경험 위험이 기대 위험으로 균일 수렴하는 조건은 무엇인가?

주요 결과

• h차원 힐버트 공간에서 단일 초평면의 분할 계수는 $ \mathcal{N}(F,2n) = 2\sum_{i=0}^{h}\binom{n-1}{i} $이며, h가 고정된 경우 n에 대해 다항식적으로 증가한다.
• 분할 계수의 다항식적 증가는 경험 위험 최소화 원리의 상한이 n → ∞일 때 0으로 수렴함을 보장하며, 이는 균일 수렴을 보장한다.
• p개의 초평면에 대해서는 분할 계수가 $ \left( \frac{2e(n-1)(e^h(n-1)^h - 1)}{e(n-1) - 1} + 2 \right)^p $로 유계화되며, h와 p가 고정된 경우에도 다항식적 증가를 유지한다.
• 일반화 오차 한계 $ \epsilon $는 $ \epsilon = \frac{2\sqrt{hp\log{n} + \gamma}}{\sqrt{n}} $로 스케일링되며, h나 p가 증가할수록 필요로 하는 $ \epsilon $가 커져 일반화가 더 어려워짐을 보여준다.
• n → ∞일 때 오차 한계의 수정 항이 사라지며, 이는 주된 항이 $ -n\epsilon^2/4 $임을 확인함으로써 분할 계수가 다항식적으로 증가할 경우 수렴이 보장됨을 의미한다.
• 유도된 상한은 연구자들이 원하는 $ \epsilon $-한계를 99%의 확률로 달성하기 위해 필요한 최소 샘플 크기 n을 계산하는 데 사용 가능하며, 예를 들어 $ \epsilon = 0.05 $일 경우 99%의 경우에 해당 조건을 충족시킬 수 있다.