[논문 리뷰] From Stochastic Mixability to Fast Rates

Nishant A. Mehta, Robert C. Williamson|ANU Open Research (Australian National University)|2014. 06. 14.

Machine Learning and Algorithms참고 문헌 24인용 수 3

한 줄 요약

이 논문은 통계학적 학습과 온라인 학습을 연결하는 스 tochastic mixability가 유한한 함수 클래스와 VC 유형의 함수 클래스에서 경험적 리스크 최소화(Empirical Risk Minimization, ERM)의 빠른 $O(1/n)$ 수렴 속도를 암시한다는 것을 입증한다. Cramér-Chernoff 방법과 일반 모멘트 문제에 대한 Kemperman의 해법에 기반한 직접 증명을 통해, 스 tochastic mixability가 주어지면 정확한 오ракル 부등식이 도출되며, 이때 주요 상수는 1이 된다. 이는 빠른 수렴의 기하학적 구조에 대한 새로운 통찰을 제공하며, 학습 문제에서 효과적 볼록성의 특성화 가능성을 시사한다.

ABSTRACT

Empirical risk minimization (ERM) is a fundamental learning rule for statistical learning problems where the data is generated according to some unknown distribution $\mathsf{P}$ and returns a hypothesis $f$ chosen from a fixed class $\mathcal{F}$ with small loss $\ell$. In the parametric setting, depending upon $(\ell, \mathcal{F},\mathsf{P})$ ERM can have slow $(1/\sqrt{n})$ or fast $(1/n)$ rates of convergence of the excess risk as a function of the sample size $n$. There exist several results that give sufficient conditions for fast rates in terms of joint properties of $\ell$, $\mathcal{F}$, and $\mathsf{P}$, such as the margin condition and the Bernstein condition. In the non-statistical prediction with expert advice setting, there is an analogous slow and fast rate phenomenon, and it is entirely characterized in terms of the mixability of the loss $\ell$ (there being no role there for $\mathcal{F}$ or $\mathsf{P}$). The notion of stochastic mixability builds a bridge between these two models of learning, reducing to classical mixability in a special case. The present paper presents a direct proof of fast rates for ERM in terms of stochastic mixability of $(\ell,\mathcal{F}, \mathsf{P})$, and in so doing provides new insight into the fast-rates phenomenon. The proof exploits an old result of Kemperman on the solution to the general moment problem. We also show a partial converse that suggests a characterization of fast rates for ERM in terms of stochastic mixability is possible.

연구 동기 및 목표

• 스 tochastic mixability와 통계학적 학습에서의 빠른 수렴 속도 사이의 직접적인 연결 고리를 확립하기 위해.
• Cramér-Chernoff 방법과 일반 모멘트 문제에 대한 Kemperman의 해법을 활용하여 ERM에 대한 빠른 수렴 속도에 대한 새로운 증명을 제공하기 위해.
• 스 tochastic mixability가 유한한 클래스와 VC 유형의 클래스에 대해 주요 상수가 1인 정확한 오라클 부등식을 암시함을 보여주기 위해.
• 스 tochastic mixability가 빠른 수렴 현상의 특성화를 이루는지 조사하기 위해. 이는 실패 시 유일하지 않은 최소화자가 나타나고 느린 수렴이 유도됨을 시사하는 부분적 역방향 결과를 포함한다.
• 스 tochastic mixability와 Bernstein 조건 간의 관계를 탐색하고, 손실이 유계일 조건 하에서 그 상등성 가능성을 평가하기 위해.

제안 방법

• 저자들은 초과 리스크의 꼬리 확률을 제어하기 위해 Cramér-Chernoff 방법을 사용하며, 이는 스 tochastic mixability 조건을 활용한다.
• 초과 손실의 모멘트 생성 함수에 대한 날카운 경계를 도출하기 위해 일반 모멘트 문제에 대한 Kemperman의 해법을 적용한다.
• 분석을 국소화하기 위해 초과 리스크가 $ ( heta n)^{-1/(2- heta)} $ 이상인 함수들에 국한함으로써, 유한한 클래스에서 VC 유형의 클래스로의 확장을 가능하게 한다.
• 핵심 기술적 단계로는 스 tochastic mixability 하에서 모멘트 문제 사례의 최적값을 경계함으로써, 빠른 수렴 제어를 보장한다.
• 증명 구조는 클래스에 속한 개별 함수들에 대한 큰 편차 확률을 별도로 제어할 수 있게 하며, 이는 $\u0000$-넷을 통한 VC 유형의 클래스로의 일반화를 가능하게 한다.
• 비모수적 클래스로의 확장을 위해 다항식 거리 엔트로피를 고려하지만, 완전한 확장은 여전히 열려 있는 문제이다.

실험 결과

연구 질문

• RQ1 스 tochastic mixability는 유한한 함수 클래스에서 ERM에 대해 $O(1/n)$ 수렴 속도를 암시하는가?
• RQ2 스 tochastic mixability 하에서의 빠른 수렴 결과는 VC 유형의 클래스로 확장될 수 있는가?
• RQ3 부분적 역방향이 존재하는가? 즉, 스 tochastic mixability가 실패하면 최소화자가 유일하지 않게 되고, 이는 느린 수렴으로 이어지는가?
• RQ4 스 tochastic mixability는 Bernstein 조건과 어떻게 관련되어 있으며, 손실이 유계일 경우 그 상등성이 가능한가?
• RQ5 유계 손실 가정을 제거하여 결과를 더 일반적인 손실 분포로 확장할 수 있는가?

주요 결과

• 스 tochastic mixability는 주요 상수가 1인 정확한 오라클 부등식을 유한한 클래스에 대해 암시하며, 이는 $ O(1/n) $의 빠른 수렴 속도를 초래한다.
• 함수 수가 $ N $이고 손실이 $ V $로 유계인 유한한 클래스의 경우, 높은 확률로 초과 리스크는 $ \frac{6(\log(1/\delta) + \log N)}{(η_0 n)^{1/(2-\kappa)}} $ 이하로 경계된다.
• 분석을 초과 리스크가 $ (η_0 n)^{-1/(2-\kappa)} $ 이상인 함수들로 국소화함으로써, 이 결과는 VC 유형의 클래스로 확장된다.
• 부분적 역방향이 확립되었다: 스 tochastic mixability가 실패하면, 이는 느린 수렴으로 이어지는 방식으로 최소화자가 유일하지 않음을 의미하며, 기하학적 장애를 시사한다.
• 손실이 유계일 경우 Bernstein 조건은 스 tochastic mixability를 암시하며, 이는 두 조건 간의 깊은 연결성을 시사한다.
• 스 tochastic mixability의 최악의 경우의 랜덤 변수는 큰 이익을 얻을 확률이 낮고, 작은 손실을 입을 확률이 높은 경우이며, 이러한 경우를 제거하기 위해 추가적인 모멘트 조건이 필요할 수 있다.