[논문 리뷰] Online Learning: Beyond Regret

Alexander Rakhlin, Karthik Sridharan외 1명|arXiv (Cornell University)|2010. 11. 14.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 51

한 줄 요약

이 논문은 외부 회귀를 초월하여 일관된 프레임워크를 도입함으로써 온라인 학습 이론을 확장한다. 이 프레임워크는 마팅게일 수렴, 향후 성능, 순차적 라데마처 복잡도의 세 가지 핵심 양을 제어함으로써 내부 회귀, 校정, 접근 가능성, 적응형 회귀와 같은 다양한 성능 측정치를 통합적으로 기술한다. 주요 기여는 학습 가능성에 대한 복잡도 기반 특성화로서, 두 개 이상의 결과를 가진 校정에 대해 날카러진 $O(T^{-1/2})$ 수렴 속도를 도출하고, 알고리즘 설계 없이도 바나흐 공간에서 거의 확실한 한난 일致성을 확립하는 데 있다.

ABSTRACT

We study online learnability of a wide class of problems, extending the results of (Rakhlin, Sridharan, Tewari, 2010) to general notions of performance measure well beyond external regret. Our framework simultaneously captures such well-known notions as internal and general Phi-regret, learning with non-additive global cost functions, Blackwell's approachability, calibration of forecasters, adaptive regret, and more. We show that learnability in all these situations is due to control of the same three quantities: a martingale convergence term, a term describing the ability to perform well if future is known, and a generalization of sequential Rademacher complexity, studied in (Rakhlin, Sridharan, Tewari, 2010). Since we directly study complexity of the problem instead of focusing on efficient algorithms, we are able to improve and extend many known results which have been previously derived via an algorithmic construction.

연구 동기 및 목표

• 외부 회귀, 내부 회귀, 校정, 블랙웰 접근 가능성과 같은 다양한 온라인 학습 성능 측정치를 단일 이론적 프레임워크로 통합하는 것.
• 알고리즘 설계를 통한 학습 가능성 특성화가 아니라, 마팅게일 수렴, 향후 지식 기반 성능, 순차적 라데마처 복잡도의 세 가지 기본 복잡도 항목 제어를 통한 학습 가능성 특성화.
• 이전에 알고리즘 기반 접근이 불가능하거나 최적화되지 않은 경우에 특히, 기존 결과를 복원하고 확장하며 개선하는 것.
• 알고리즘 특화 설계에 의존하지 않고도 무한 차원 바나흐 공간에서의 校정 게임과 접근 가능성에 대해 거의 확실한 수렴과 한난 일치성을 확립하는 것.

제안 방법

• 성과 측정을 보상 전환 맵핑을 통해 일반화한 반복 게임으로서 온라인 학습을 공식화함으로써, 외부 회귀를 광범위한 성능 지표 클래스로 일반화한다.
• 학습 가능성의 핵심 복잡도 항목 세 가지를 식별: 마팅게일 수렴, 향후 지식 기반 성능, 순차적 라데마처 복잡도.
• 무작위화(라데마처 혼합)와 커버링 추론을 활용해 함수 클래스에 대한 상한을 유도함으로써, 가산적이지 않거나 부드러운 비용 함수로의 일반화를 가능하게 한다.
• 집중 불등식(예: 허프딩 유형의 경계)을 적용하여 편차 확률을 제어하고 고확률 회귀 경계를 도출한다.
• 이중화 기법과 지수 모멘트 제어(예: $\mathbb{E}[\exp\{K\mathbf{R}_T^2\}]$)를 활용하여 고확률 경계를 거의 확실한 수렴 보장으로 전환한다.
• 특히 행동이 유한할 경우 정책 클래스의 복잡도를 제한하기 위해 순차적 리틀스타인 차원을 활용한다.

실험 결과

연구 질문

• RQ1 내부 회귀, 校정, 접근 가능성와 같은 다양한 성능 측정치에 대해 온라인 학습에서의 학습 가능성은 통일된 방식으로 특성화될 수 있는가?
• RQ2 외부 회귀를 초월한 학습 가능성에 필요한 최소 복잡도 조건은 무엇인가?
• RQ3 두 개 이상의 결과를 가진 校정에 대해 $O(T^{-1/2})$ 수렴 속도를 확립할 수 있는가?
• RQ4 바나흐 공간에서의 블랙웰 접근 가능성은 마팅게일 수렴과 한 번의 접근 가능성 조건과 동치인가?
• RQ5 명시적 알고리즘 설계 없이도 거의 확실한 한난 일치성을 달성할 수 있는가?

주요 결과

• 논문은 두 개 이상의 결과를 가진 보정 예측에 대해 $O(T^{-1/2})$의 회귀 경계를 확립하여, 매놀러와 스톨츠의 이전 결과를 향상시킨다.
• 분리 가능한 바나흐 공간에서, 블랙웰의 접근 가능성은 마팅게일 수렴이 성립하고 한 번의 접근 가능성 조건이 만족될 때에만 성립함을 증명한다.
• 이 프레임워크는 거의 확실한 수렴을 보여주며, $\limsup_{T\to\infty} \frac{\sqrt{T}}{\sqrt{3k\log(2T) + \frac{ck^4}{2}\log T}} \cdot \mathbf{R}_T \leq 60$ 거의 확실하게 성립한다.
• 순차적 라데마처 복잡도는 고려된 모든 성능 지표에 걸쳐 학습 가능성의 중심 복잡도 측정치로 규명된다.
• 이 접근은 스톨츠와 루고시의 $\Phi$-회귀 결과를 복원하고 개선하며, 특히 $\Phi$-상관 균형에 수렴하는 데 있어 유리하다.
• 알고리즘 중심의 추론을 피하기 때문에, 알고리즘 설계가 알려지지 않거나 비현실적인 설정에서도 학습 가능성 증명이 가능해진다.