[논문 리뷰] Towards Minimax Online Learning with Unknown Time Horizon

Haipeng Luo, Robert E. Schapire|arXiv (Cornell University)|2013. 07. 31.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 14

한 줄 요약

이 논문은 시간 경과이 알려지지 않은 상황에서 온라인 학습을 위한 최소최대 기반 적응형 알고리즘을 제안한다. 무작위 경과 모델을 활용하여 실제 경과와 관계없이 최적의 최악의 경우 성능을 유지하는 전략을 유도한다. 경과를 특수한 분포 가족에서 무작위로 선택된 것으로 간주함으로써, 재시작 없이 최적의 성능을 달성하며, 실험적으로 기존의 두 배 증가 전략보다 뛰어난 성능을 보인다.

ABSTRACT

We consider online learning when the time horizon is unknown. We apply a minimax analysis, beginning with the fixed horizon case, and then moving on to two unknown-horizon settings, one that assumes the horizon is chosen randomly according to some known distribution, and the other which allows the adversary full control over the horizon. For the random horizon setting with restricted losses, we derive a fully optimal minimax algorithm. And for the adversarial horizon setting, we prove a nontrivial lower bound which shows that the adversary obtains strictly more power than when the horizon is fixed and known. Based on the minimax solution of the random horizon setting, we then propose a new adaptive algorithm which "pretends" that the horizon is drawn from a distribution from a special family, but no matter how the actual horizon is chosen, the worst-case regret is of the optimal rate. Furthermore, our algorithm can be combined and applied in many ways, for instance, to online convex optimization, follow the perturbed leader, exponential weights algorithm and first order bounds. Experiments show that our algorithm outperforms many other existing algorithms in an online linear optimization setting.

연구 동기 및 목표

• 게임 이론적 최소최대 프레임워크에서 시간 경과가 알려지지 않은 온라인 학습 문제를 다루기 위해.
• 경과가 사전에 알려지지 않은 상황에서도 최적의 성능을 유지하는 전략을 개발하기 위해.
• 반복적인 재시작과 정보 손실로 인해 비효율적인 두 배 증가 전략의 한계를 극복하기 위해.
• 경과를 통제하는 적대자에게 더 큰 능력을 부여함으로써 고정 경과 설정보다 엄격히 더 높은 최적의 성능을 유도함을 보여주기 위해.
• 특정 분포 가족에서 무작위로 선택된 경과를 가정함으로써, 모든 경과에서 균일하게 잘 작동하는 실용적인 적응형 알고리즘을 제안하기 위해.

제안 방법

• 기저 벡터 손실 공간에서 고정 경과 설정에 대한 최소최대 최적 전략을 유도하기 위해.
• 최소최대 분석을 무작위 경과 설정으로 확장하여, 최적 전략이 고정 경과 전략의 조건부 기댓값임을 보여주기 위해.
• 특수한 분포 가족에서 경과가 유래된 것으로 가정하는 새로운 적응형 알고리즘을 제안하며, 실제 경과가 어떻게 선택되든 최악의 경우 성능이 최적임을 확보하기 위해.
• 경과가 적대적으로 선택되더라도 알고리즘의 성능이 최적의 순서 O(√T ln N)임을 증명하기 위해.
• 기존 알고리즘인 퍼티urbed 리더 따라하기, 지수 가중치, 온라인 볼록 최적화와의 조합을 위해 제안된 방법을 통합하기 위해.
• 무한한 성능을 방지하기 위해 적대적 경과 설정에서 성능 측정으로 스케일된 성능을 사용하기 위해.

실험 결과

연구 질문

• RQ1 시간 경과가 알려지지 않은 상황에서, 그리고 적대적으로 선택된 경우에도 최소최대 전략을 도출할 수 있는가?
• RQ2 적대적 경과 설정에서 최적의 성능는 무엇이며, 고정 경과 설정과 비교해 볼 때 어떻게 다른가?
• RQ3 특정 분포 가족에서 유래된 무작위 경과를 가정함으로써, 어떤 실제 경과에서도 잘 작동하는 최소최대 최적 전략을 도출할 수 있는가?
• RQ4 제안된 알고리즘은 헤지 문제를 초과하는 다른 온라인 학습 설정으로 일반화될 수 있는가?
• RQ5 제안된 알고리즘은 기존의 적응형 방법(예: 두 배 증가 전략)과 비교해 실제로 어떻게 성능을 냈는가?

주요 결과

• 무작위 경과 설정에서의 최소최대 전략은 고정 경과 설정의 최소최대 전략의 조건부 기댓값이며, 이는 이 모델 하에서 완전히 최적의 해를 제공한다.
• 적대적 경과 설정에서 최적의 성능는 고정 경과 설정보다 엄격히 더 높으며, 이는 적대자가 추가적인 능력을 확보하고 있음을 증명한다.
• 제안된 적응형 알고리즘은 실제 경과가 어떻게 선택되든 간에 최악의 경우 성능이 최적의 순서 O(√T ln N)를 유지한다. 심지어 적대적으로 제어된 경과에서도 마찬가지이다.
• 온라인 선형 최적화 실험에서 기존의 두 배 증가 전략보다 뛰어난 성능을 보이며, 더 낮은 성능을 기록한다.
• 이 방법은 일반적이며 지수 가중치, 퍼티urbed 리더 따라하기, 일阶 성능 경계와의 조합이 가능하다.
• 알 수 없는 정보(예: 최고의 행동의 손실)에 대해 강건하여 일阶 성능 경계를 도출할 수 있다.