[논문 리뷰] Bandits with Switching Costs: T^{2/3} Regret

Ofer Dekel, Jian Ding외 2명|arXiv (Cornell University)|2013. 10. 11.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 8

한 줄 요약

이 논문은 전복적 다중 암반 밴딧 문제에서 전환 비용이 존재할 경우의 최소 최대 손실을 $\widetilde{\Theta}(k^{1/3}T^{2/3})$로 규명하며, 탐색과 비용이 드는 전환 간의 균형을 고려해야 하기 때문에 밴딧 피드백을 통한 학습이 완전한 피드백보다 훨씬 더 어렵다는 것을 보여준다. 주요 기여는 날카러운 손실 한계를 가능하게 하는 새로운 다중 척도 랜덤 워크 구성법으로, 밴딧 피드백을 통한 온라인 학습 분야에서 오랫동안 남아있던 열린 문제를 해결한다.

ABSTRACT

We study the adversarial multi-armed bandit problem in a setting where the player incurs a unit cost each time he switches actions. We prove that the player's $T$-round minimax regret in this setting is $\widetildeΘ(T^{2/3})$, thereby closing a fundamental gap in our understanding of learning with bandit feedback. In the corresponding full-information version of the problem, the minimax regret is known to grow at a much slower rate of $Θ(\sqrt{T})$. The difference between these two rates provides the \emph{first} indication that learning with bandit feedback can be significantly harder than learning with full-information feedback (previous results only showed a different dependence on the number of actions, but not on $T$.) In addition to characterizing the inherent difficulty of the multi-armed bandit problem with switching costs, our results also resolve several other open problems in online learning. One direct implication is that learning with bandit feedback against bounded-memory adaptive adversaries has a minimax regret of $\widetildeΘ(T^{2/3})$. Another implication is that the minimax regret of online learning in adversarial Markov decision processes (MDPs) is $\widetildeΘ(T^{2/3})$. The key to all of our results is a new randomized construction of a multi-scale random walk, which is of independent interest and likely to prove useful in additional settings.

연구 동기 및 목표

• 행동 간 전환에 비용이 발생할 경우 온라인 학습에서 밴딧 피드백의 본질적 어려움을 규명하는 것.
• 밴딧 피드백이 완전한 정보 피드백보다 본질적으로 더 어렵다는 점을, $T$에 대한 손실 의존성 측면에서 이해의 격차를 메우는 것.
• 학습 대상이 유한 기억을 가진 적응형 적대자인 경우나 전복적 MDPs를 포함한 온라인 학습 분야의 열린 문제를 해결하는 것.
• 날카러운 손실 분석을 가능하게 하는 새로운 랜덤화 다중 척도 랜덤 워크 구성법을 개발하는 것.

제안 방법

• 저자들은 전복적 밴딧 환경에서 탐색과 전환 비용 간의 상충을 모델링하기 위해 새로운 다중 척도 랜덤 워크 구성법을 도입한다.
• 최적의 행동 선택 하에 낮은 손실을 유지하면서도 높은 전환 비용을 유도하는 손실 함수의 시퀀스를 구성함으로써 손실의 하한을 도출한다.
• 분석은 여러 시간 척도에서 행동 간 탐색을 균형 잡는 랜덤 전략을 사용하며, 랜덤 워크의 구조를 활용해 적대적 손실 시퀀스를 시뮬레이션한다.
• 핵심 기술적 구성 요소는 다중 척도를 가진 랜덤 워크의 사용으로, 분산과 스텝 크기를 $T^{2/3}$ 손실 비율에 맞추어 조정한다.
• 이 방법은 밴딧 설정뿐 아니라, 전복적 MDPs와 유한 기억을 가진 적응형 적대자에 대한 학습과 같은 일반화된 경우에도 적용 가능하다.
• 증명 기법은 확률적 분석과 최소 최대 손실 이중성의 조합으로, 최악의 손실 시퀀스 하에서 어떤 전략도 $\widetilde{\Omega}(T^{2/3})$ 이하의 손실을 달성할 수 없음을 보여준다.

실험 결과

연구 질문

• RQ1 행동 전환에 단위 비용이 발생할 경우, 다중 암반 밴딧 문제의 최소 최대 손실은 무엇인가?
• RQ2 밴딧 피드백을 통한 학습은 $T$에 대한 의존성 측면에서 완전한 정보 피드백보다 엄격히 더 어렵다 할 수 있는가?
• RQ3 유한 기억을 가진 적응형 적대자에 대한 온라인 학습의 최소 최대 손실을 특성화할 수 있는가?
• RQ4 밴딧 피드백이 존재하는 전복적 마르코프 결정 과정의 최소 최대 손실은 무엇인가?
• RQ5 제안된 다중 척도 랜덤 워크 구성법은 여러 온라인 학습 환경에서 날카러운 손실 한계를 도출하는 데 성공하는가?

주요 결과

• 전환 비용이 존재하는 $k$-암반 밴딧 문제의 최소 최대 손실은 $\widetilde{\Theta}(k^{1/3}T^{2/3})$로, 온라인 학습 이론에서 근본적인 격차를 메운다.
• 이 결과는 밴딧 피드백을 통한 학습이 완전한 정보 피드백보다 엄격히 더 어렵다는 것을 보여주며, $T$에 대한 손실 의존성은 각각 $T^{2/3}$과 $\sqrt{T}$로, 명백한 차이를 보인다.
• 유한 기억을 가진 적응형 적대자에 대한 온라인 학습의 최소 최대 손실은 $\widetilde{\Theta}(T^{2/3})$로, 이 분야의 열린 문제를 해결한다.
• 밴딧 피드백이 존재하는 전복적 MDP의 최소 최대 손실 역시 $\widetilde{\Theta}(T^{2/3})$로, 이전 연구에서 제시된 상한과 일치한다.
• 제안된 다중 척도 랜덤 워크 구성법은 증명에 필수적이며, 별개의 관심사로도 중요하며, 다른 온라인 학습 맥락에서 유용할 가능성이 높다.
• 손실과 전환 횟수 간의 상충관계가 정량화된다: 전환 비용이 없는 경우 $\widetilde{O}(T^{\alpha})$의 손실을 달성하는 어떤 알고리즘도 최악의 경우 $\widetilde{\Omega}(T^{2(1-\alpha)})$회의 전환을 해야 한다.