[논문 리뷰] Combining Adversarial Guarantees and Stochastic Fast Rates in Online Learning

Wouter M. Koolen, Peter Grünwald외 1명|arXiv (Cornell University)|2016. 05. 20.

Advanced Bandit Algorithms Research인용 수 22

한 줄 요약

이 논문은 Squint 및 MetaGrad와 같은 온라인 학습 알고리즘들이 제2차 개별-시퀀스 오차 보장을 통해 베르누이 조건의 매개수 κ ∈ [0,1]에 자동으로 적응함으로써 스토하스틱 환경에서 빠른 오차율을 달성함을 보여준다. 주요 기여는 이러한 알고리즘이 예측값과 고려 확률 모두에서 T^{(1−κ)/(2−κ)} 순서의 오차율을 확보함을 증명한 것이다. 이는 온화한 스토하스틱 가정 하에서 최적의 빠른 오차율을 달성한다.

ABSTRACT

We consider online learning algorithms that guarantee worst-case regret rates in adversarial environments (so they can be deployed safely and will perform robustly), yet adapt optimally to favorable stochastic environments (so they will perform well in a variety of settings of practical importance). We quantify the friendliness of stochastic environments by means of the well-known Bernstein (a.k.a. generalized Tsybakov margin) condition. For two recent algorithms (Squint for the Hedge setting and MetaGrad for online convex optimization) we show that the particular form of their data-dependent individual-sequence regret guarantees implies that they adapt automatically to the Bernstein parameters of the stochastic environment. We prove that these algorithms attain fast rates in their respective settings both in expectation and with high probability.

연구 동기 및 목표

• 온라인 학습에서 악성 환경에 대한 강건성과 스토하스틱 적응성 간의 갭을 메우기.
• 제2차 오차 보장이 베르누이 조건의 매개수 κ에 대해 자동 적응함을 보여주기.
• Squint 및 MetaGrad와 같은 알고리즘에 대해 온화한 스토하스틱 가정 하에서 기대값과 고려 확률 모두에서 빠른 오차율을 확립하기.
• 중앙 조건과 베르누이 조건을 사용하여 온라인 학습에서의 빠른 수렴 분석을 통합하기.

제안 방법

• Squint(Squint 설정)와 MetaGrad(OCO)에서 유도된 제2차 개별-시퀀스 오차 보장을 기초로 사용한다.
• 베르누이 조건(또는 일반화된 츠야바코프 마진 조건)을 적용하여 손실 함수의 스토하스틱 우호도를 매개수 κ ∈ [0,1]로 정량화한다.
• 유한한 손실에 대해 제한된 손실 조건과 동치인 중심 조건을 도입한다.
• 마팅게일 유형의 제2차 항을 제어하기 위해 정규화된 누산트 생성 함수 ǫ(η)를 도입한다.
• 초과 손실의 제곱과 수정된 지수 모멘트 사이의 연결 고리를 제공하는 보다 정교한 지수 부등식(보조정리 8)을 유도한다.
• 최종 오차 bound를 최적화하기 위해 학습률 매개수 γ를 조정하며, 베르누이 조건을 활용해 ǫ(2γ)를 γ에 대해 다항식으로 bound한다.

실험 결과

연구 질문

• RQ1 온라인 학습 알고리즘이 악성 환경에 대한 최악의 경우 강건성을 유지하면서도 유리한 스토하스틱 환경에 적응할 수 있는가?
• RQ2 매개수 κ에 대해 제2차 오차 보장이 베르누이 조건 하에서 빠른 수렴율을 유도하는가?
• RQ3 빠른 오차율이 기대값 외에도 고려 확률 하에서도 확립될 수 있는가?
• RQ4 유한한 손실 하에서 중심 조건과 베르누이 조건은 동치인가? 그리고 이 동치성은 분석에 어떻게 활용될 수 있는가?
• RQ5 Squint 및 MetaGrad와 같은 알고리즘의 적응 행동을 베르누이 매개수 κ와 공식적으로 연결할 수 있는가?

주요 결과

• Squint 및 MetaGrad는 베르누이 조건 하에서 기대값과 고려 확률 모두에서 T^{(1−κ)/(2−κ)} 순서의 오차율을 달성한다.
• κ ∈ [0,1]에 대해 오차 bound는 O(T^{(1−κ)/(2−κ)})이며, κ=0일 땐 √T 최악의 경우 오차율을 복원하고, κ=1일 땐 이중 로그 수준의 오차율을 달성한다.
• 분석 결과 제2차 오차 보장이 데이터 분포에 대한 사전 지식 없이도 베르누이 매개수 κ에 자동으로 적응함을 보여준다.
• 베르누이 조건과 중심 조건 간의 동치성을 활용하여, 정규화된 누산트 생성 함수 ǫ(η)를 통해 제2차 항을 제어한다.
• 정교한 지수 부등식(보조정리 8)을 통해 오차 분해에서의 제곱항에 대한 더 엄밀한 제어가 가능해진다.
• 최종 오차 bound는 매개수 γ를 조정함으로써 최적화되며, 이로 인해 κ와 KT, 즉 알고리즘 고유의 복잡도 항에 대해 날카로운 의존성 구조를 확보한다.