[논문 리뷰] Fast rates in statistical and online learning

Tim van Erven, Peter Grünwald외 3명|arXiv (Cornell University)|2015. 07. 09.

Machine Learning and Algorithms참고 문헌 52인용 수 4

한 줄 요약

이 논문은 통계적 학습과 온라인 학습에서 빠른 수렴 속도를 보장하는 조건들을 통합하기 위해, 적절한 학습에 대한 중심 조건과 온라인 알고리즘에 대한 확률적 혼합 가능성(stochastic mixability)을 도입한다. 이 조건들이 약한 가정 하에서 동치임을 보이고, 티바코프의 마진 조건과 버니스테인 조건과 같은 핵심 개념들을 일반화하여, 유계가 아닌 손실 함수에 대해서도 $O(1/n)$ 수렴 속도를 달성할 수 있음을 보여준다.

ABSTRACT

The speed with which a learning algorithm converges as it is presented with more data is a central problem in machine learning --- a fast rate of convergence means less data is needed for the same level of performance. The pursuit of fast rates in online and statistical learning has led to the discovery of many conditions in learning theory under which fast learning is possible. We show that most of these conditions are special cases of a single, unifying condition, that comes in two forms: the central condition for 'proper' learning algorithms that always output a hypothesis in the given model, and stochastic mixability for online algorithms that may make predictions outside of the model. We show that under surprisingly weak assumptions both conditions are, in a certain sense, equivalent. The central condition has a re-interpretation in terms of convexity of a set of pseudoprobabilities, linking it to density estimation under misspecification. For bounded losses, we show how the central condition enables a direct proof of fast rates and we prove its equivalence to the Bernstein condition, itself a generalization of the Tsybakov margin condition, both of which have played a central role in obtaining fast rates in statistical learning. Yet, while the Bernstein condition is two-sided, the central condition is one-sided, making it more suitable to deal with unbounded losses. In its stochastic mixability form, our condition generalizes both a stochastic exp-concavity condition identified by Juditsky, Rigollet and Tsybakov and Vovk's notion of mixability. Our unifying conditions thus provide a substantial step towards a characterization of fast rates in statistical learning, similar to how classical mixability characterizes constant regret in the sequential prediction with expert advice setting.

연구 동기 및 목표

• 통계적 학습과 온라인 학습 설정에서 빠른 수렴 속도를 설명하는 유일한 통합 조건을 규명하는 것.
• 항상 모델 $\mathcal{F}$ 내의 가설을 출력하는 적절한 학습과 모델 외부의 예측을 允허하는 온라인 학습 간 격차를 메우기 위해 핵심 조건의 두 형태를 도입하는 것.
• 약한 가정 하에서 중심 조건과 확률적 혼합 가능성 간의 동치성을 보이고, 빠른 수렴을 위한 통합 프레임워크를 제공하는 것.
• 중심 조건이 버니스테인 조건과 티바코프 마진 조건을 일반화함을 보이며, 특히 유계가 아닌 손실 함수에 대해 적용 가능함을 보여주는 것.
• 중심 조건 하에서 빠른 수렴 속도의 직접 증명을 제공하고, 모델 오특사화 하에서 의사확률 집합의 볼록성과의 연결 고리를 밝혀내는 것.

제안 방법

• 항상 모델 $\mathcal{F}$ 내의 가설을 출력하는 적절한 학습 알고리즘에 대해 중심 조건을 도입하여, 놀랄 만큼 약한 가정 하에서도 $O(1/n)$ 수렴 속도를 보장한다.
• 모델 외부의 예측을 允허하면서도 빠른 수렴 속도를 유지할 수 있도록 온라인 버전의 중심 조건으로서 확률적 혼합 가능성(stochastic mixability)을 제안한다.
• 약한 정규성 가정 하에서 중심 조건과 확률적 혼합 가능성 간의 동치성을 확립한다.
• 지수적 모멘트 한계와 지배 수렴 정리를 사용하여 초과 위험의 농도 불등식을 유도한다.
• 유계 거리 엔트로피를 가진 가설 클래스에 대한 유니온 바운드를 적용하여, 열악한 가설을 선택할 확률를 제어한다.
• 중심 조건과 의사확률 집합의 볼록성 간의 관계를 활용하여, 모델 오특사화 하에서의 밀도 추정과 연결한다.

실험 결과

연구 질문

• RQ1 통계적 학습과 온라인 학습 설정에서 빠른 수렴 속도를 통합하는 데 적합한 단일 조건은 무엇인가?
• RQ2 중심 조건과 확률적 혼합 가능성은 어떻게 관련되어 있으며, 어떤 가정 하에서 동치인가?
• RQ3 중심 조건이 버니스테인 조건과 티바코프 마진 조건을 일반화할 수 있으며, 특히 유계가 아닌 손실 함수에 대해 성립하는가?
• RQ4 중심 조건 하에서 의사확률 집합의 볼록성은 어떤 역할을 하는가?
• RQ5 중심 조건을 사용하여, 비실현(agnotic) 설정에서도 빠른 $O(1/n)$ 수렴 속도를 어떻게 달성할 수 있는가?

주요 결과

• 중심 조건은 놀랄 만큼 약한 가정 하에서도 적절한 학습 알고리즘에 대해 $O(1/n)$ 수렴 속도를 직접 증명할 수 있도록 한다.
• 중심 조건은 한쪽 방향 조건이므로, 두쪽 방향 조건인 버니스테인 조건보다는 유계가 아닌 손실 함수에 더 적합하다.
• 유계 손실 함수에 대해서는 중심 조건이 버니스테인 조건과 동치이며, 둘 다 티바코프 마진 조건을 일반화한다.
• 확률적 혼합 가능성은 보브크의 혼합 가능성 개념과 줌스키, 리골레, 티바코프의 확률적 지수-볼록성 조건을 모두 일반화한다.
• 중심 조건은 의사확률 집합이 볼록임을 암시하며, 이는 모델 오특사화 하에서의 밀도 추정과 연결된다.
• ERM에 대해, 고도로 확률 $1 - \delta$ 하에서 초과 위험은 $\frac{5\max\{V, 1/\eta^*\}(\log(1/\delta) + \log N)}{n}$ 이하로 유계지며, 중심 조건 하에서 빠른 수렴 속도를 달성한다.