[논문 리뷰] A Stochastic View of Optimal Regret through Minimax Duality

Jacob Abernethy, Alekh Agarwal외 2명|ArXiv.org|2009. 03. 30.

Advanced Bandit Algorithms Research참고 문헌 10인용 수 16

한 줄 요약

이 논문은 온라인 볼록 최적화에서 최적의 누적손실을 확률적 해석으로 재구성하며, von Neumann의 최소최대 정리를 활용하여 최소최대 누적손실이 적대적 데이터 시퀀스의 확률적 분포에 대해 정의된 볼록 함수에 대한 젠센 부등식의 최대 갭과 일치함을 보여준다. 기하학적 및 쌍대성 기반 분석을 통해 정확한 상한과 하한을 유도하며, 통계학적 학습과의 연결 고리를 드러내고, 최적의 적대자 전략을 명시적으로 제시한다.

ABSTRACT

We study the regret of optimal strategies for online convex optimization games. Using von Neumann's minimax theorem, we show that the optimal regret in this adversarial setting is closely related to the behavior of the empirical minimization algorithm in a stochastic process setting: it is equal to the maximum, over joint distributions of the adversary's action sequence, of the difference between a sum of minimal expected losses and the minimal empirical loss. We show that the optimal regret has a natural geometric interpretation, since it can be viewed as the gap in Jensen's inequality for a concave functional--the minimizer over the player's actions of expected loss--defined on a set of probability distributions. We use this expression to obtain upper and lower bounds on the regret of an optimal strategy for a variety of online learning problems. Our method provides upper bounds without the need to construct a learning algorithm; the lower bounds provide explicit optimal strategies for the adversary.

연구 동기 및 목표

• 최적의 누적손실과 확률 과정에서의 경험 최소화 간의 깊은 이중성에 기반해 적대적 온라인 학습과 통계학적 학습을 연결한다.
• 온라인 볼록 최적화에서 최소최대 누적손실을 확률 분포에 대해 정의된 볼록 함수에 대한 젠센 부등식의 기하학적 갭으로 특성화한다.
• 학습 알고리즘을 구축하지 않고도 최적의 누적손실에 대한 상한과 하한을 도출하기 위해 쌍대성과 지지함수 분석을 사용한다.
• 유도된 하한에 도달하는 명시적인 최적의 적대자 전략을 규명한다.
• 손실 클래스의 선형 변환에 따른 누적손실의 불변성을 탐구하며, 이sovomorphism을 갖는 학습 문제를 연결한다.

제안 방법

• 최소최대 정리를 적용하여 최소최대 누적손실을 조건부 최소 손실과 전역 최소 경험 손실 간의 기대값 갭으로 재정의한다.
• 누적손실을 데이터 시퀀스의 모든 결합 확률분포에 대해 조건부 최소값의 합과 전역 경험 최소값의 차이의 상한으로 정의한다.
• 손실 함수의 음수값들의 볼록껍질의 지지함수를 사용하여, 볼록 쌍대성에 의해 누적손실을 특성화한다.
• 특정 분포에 대해 정확한 누적손실 표현을 증명하기 위해 구성된 조건부 기대값의 역순 추론을 적용한다.
• 기존의 점 渐진적 전개(예: ∑cₜ = log T − log log T + o(1))를 활용하여 정확한 渐진적 누적손실 속도를 도출한다.
• 손실 클래스의 선형 변환을 활용하여, 역행렬 가능 변환에서 비특이 노출면이 유지되는 한 √T 속도를 유지하는 누적손실의 불변성을 분석한다.

실험 결과

연구 질문

• RQ1 온라인 볼록 최적화에서 최적의 누적손실은 확률적 설정에서 경험 최소화의 행동과 어떻게 관련이 있는가?
• RQ2 최소최대 누적손실은 확률 분포에 대해 정의된 볼록 함수에 대한 젠센 부등식의 기하학적 갭으로 표현될 수 있는가?
• RQ3 온라인 학습 문제에 대한 최적의 누적손실에 대한 정밀한 상한과 하한은 무엇이며, 알고리즘을 구축하지 않고 어떻게 도출할 수 있는가?
• RQ4 적대자는 최악의 상황에서 누적손실에 도달하기 위해 어떤 명시적인 전략을 사용하며, 이는 어떻게 특성화되는가?
• RQ5 손실 클래스의 선형 변환은 최소최대 누적손실에 어떤 영향을 미치며, 이러한 변환에 대해 누적손실이 언제 불변성을 유지하는가?

주요 결과

• 최소최대 누적손실은 데이터 시퀀스의 모든 결합 확률분포에 대해 조건부 최소 기대 손실의 합과 최소 경험 손실의 차이의 상한과 정확히 일치한다.
• 최적의 누적손실은 정확한 渐진적 형태를 가지며, 구축된 조건부 기대값의 역순 추론을 통해 log T − log log T + o(1)로 도출된다.
• 누적손실은 플레이어의 행동 집합에 대한 기대 손실의 하한으로 정의된 볼록 함수에 대한 젠센 부등식의 갭으로 해석될 수 있다.
• 이 방법은 최적의 분포에 기반한 명시적인 최적의 적대자 전략을 통해 하한을 도출한다.
• 학습 알고리즘을 구축하지 않고도 쌍대성과 볼록 기하학에 의존하여 누적손실의 상한을 도출한다.
• 손실 클래스의 선형 변환은 비특이 노출면이 원점에서 회전되지 않는 한 √T 누적손실 속도를 유지하며, 이는 특정 학습 문제 간의 이sovomorphism을 나타낸다.