[논문 리뷰] Stability Conditions for Online Learnability

Stéphane Ross, J. Andrew Bagnell|arXiv (Cornell University)|2011. 08. 16.

Machine Learning and Algorithms참고 문헌 16인용 수 14

한 줄 요약

이 논문은 일반적인 학습 설정에서 온라인 안정성—일반적인 한 개 제외 안정성의 변종—이 적대적 데이터 순서에서의 무손실 온라인 학습을 위한 충분조건임을 입증한다. Follow-the-Regularized-Leader, 미러 강하, 그리고 히지와 같은 확률적 방법들처럼, 기저 배치 학습 알고리즘이 균일한 온라인 안정성을 가지면 무손실을 달성할 수 있음을 보이며, 이 조건이 이진 분류에서 충분하고 필수임을 보여준다.

ABSTRACT

Stability is a general notion that quantifies the sensitivity of a learning algorithm's output to small change in the training dataset (e.g. deletion or replacement of a single training sample). Such conditions have recently been shown to be more powerful to characterize learnability in the general learning setting under i.i.d. samples where uniform convergence is not necessary for learnability, but where stability is both sufficient and necessary for learnability. We here show that similar stability conditions are also sufficient for online learnability, i.e. whether there exists a learning algorithm such that under any sequence of examples (potentially chosen adversarially) produces a sequence of hypotheses that has no regret in the limit with respect to the best hypothesis in hindsight. We introduce online stability, a stability condition related to uniform-leave-one-out stability in the batch setting, that is sufficient for online learnability. In particular we show that popular classes of online learners, namely algorithms that fall in the category of Follow-the-(Regularized)-Leader, Mirror Descent, gradient-based methods and randomized algorithms like Weighted Majority and Hedge, are guaranteed to have no regret if they have such online stability property. We provide examples that suggest the existence of an algorithm with such stability condition might in fact be necessary for online learnability. For the more restricted binary classification setting, we establish that such stability condition is in fact both sufficient and necessary. We also show that for a large class of online learnable problems in the general learning setting, namely those with a notion of sub-exponential covering, no-regret online algorithms that have such stability condition exists.

연구 동기 및 목표

• 적대적 데이터 순서 하에서 일반 학습 설정에서의 온라인 학습 가능성에 대한 충분 조건을 규명하기 위해.
• 독립 동일분포 배치 설정에서의 안정성 기반 학습 가능성 이론을 온라인, 적대적 설정으로 확장하기 위해.
• 이중 분류 설정에서 온라인 안정성이 온라인 학습 가능성에 대해 충분할 뿐 아니라 필수 조건임을 입증하기 위해.
• 가설 공간의 커버링 성질, 특히 지수적 커버링과의 연결 고리를 설정하기 위해.
• 이진 분류에서 온라인 학습 가능성과 균일한 온라인 안정성 또는 균일한 한 개 제외 안정성 RERM 알고리즘의 존재성 간의 동치성을 확립하기 위해.

제안 방법

• 온라인 학습에 적합하게 조정된, 균일한 한 개 제외 안정성과 유사한 안정성 조건인 온라인 안정성을 도입한다.
• FTRL, 미러 강하, 기울기 기반 방법과 같은 온라인 알고리즘을 정규화된 경험 위험 최소화(RERM)의 특수한 경우로 분석한다.
• 가설 공간의 유한한 $\varepsilon$-커버에 히지 알고리즘을 적용하여 손실 한계를 유도한다.
• 일반 문제에 대해 온라인 학습 가능성을 기술하기 위해 지수적 커버링의 개념을 활용한다.
• 다음과 같은 손실 한계를 도출한다: $\epsilon_{\text{regret}}(t) \leq B\sqrt{2\log(N(\mathcal{H},\mathcal{Z},f,\epsilon_m))}\left[\frac{3}{\sqrt{t}} + \frac{\log t}{2t} + \frac{1+2\ln 2}{2t}\right] + \epsilon_m$ for $t \leq m$.
• 리프시츠 조건과 유한 직경 조건을 만족하는 문제에서, $\varepsilon$-커버 상의 확률적 RERM 알고리즘이 $O(\sqrt{\log m / t})$의 손실률을 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 일반적인 학습 설정에서 온라인 안정성이 온라인 학습의 무손실을 달성하는 데 충분한가?
• RQ2 이중 분류에서 온라인 학습 가능성에 대해 온라인 안정성이 필수 조건임을 입증할 수 있는가?
• RQ3 지수적 커버링 성질을 가진 모든 온라인 학습 가능한 문제들이 균일한 온라인 안정성 RERM 알고리즘을 통해 무손실 학습이 가능한가?
• RQ4 일반 설정에서 온라인 학습 가능성은 균일한 온라인 안정성 또는 균일한 한 개 제외 안정성 RERM 알고리즘의 존재성으로 특징지어질 수 있는가?
• RQ5 일반 학습 프레임워크에서 지수적 커버링의 개념이 온라인 학습 가능성과 동치일 수 있는가?

주요 결과

• RERM 유형 알고리즘에 대해 일반적인 온라인 학습 설정에서 온라인 안정성이 무손실 학습을 위한 충분 조건임을 입증한다.
• 이중 분류에서, 온라인 학습 가능성은 (가능한 경우 확률적일 수 있는) 균일한 온라인 안정성 RERM 알고리즘의 존재성과 동치이다.
• 지수적 커버링 성질을 가진 문제에서는 확률적 균일한 한 개 제외 안정성 RERM 알고리즘을 통해 무손실 온라인 학습이 가능하다.
• 이러한 알고리즘의 손실 한계는 $\epsilon_{\text{regret}}(t) \leq B\sqrt{2\log(N(\mathcal{H},\mathcal{Z},f,\epsilon_m))}\left[\frac{3}{\sqrt{t}} + \frac{\log t}{2t} + \frac{1+2\ln 2}{2t}\right] + \epsilon_m$ for $t \leq m$이다.
• 리프시츠 조건과 유한 직경 조건을 만족하는 문제에서는 손실률이 $O\left(\sqrt{\frac{\log(K) + d\log(mD)}{t}}\right)$이며, $t \to \infty$일 때 무손실을 달성한다.
• 연분수/무리수 지표 손실과 같은 비연속 손실 함수의 경우에도, 유한한 $\varepsilon$-커버 상에서 히지 알고리즘을 적용하면 $O(1/\sqrt{m})$의 손실을 달성할 수 있다.