[논문 리뷰] An efficient high-probability algorithm for Linear Bandits

Gábor Braun, Sebastian Pokutta|arXiv (Cornell University)|2016. 10. 06.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 4

한 줄 요약

이 논문은 적응형 적대자와 함께 선형 밴디트에서 CombEXP 알고리즘에 대해 $O(T^{2/3})$의 고확률적 리그레트 경계를 제시한다. 이는 임의의 다면체로 일반화되며, 동작 다면체 위의 선형 최적화 오라클을 통해 계산 효율성을 유지한다. 이 방법은 분산 제어 손실 추정과 벤텐의 부등식을 활용하여 고차원 행동 공간에서 리그레트 성능과 계산 타당성 사이의 실용적 트레이드오프를 달성한다.

ABSTRACT

For the linear bandit problem, we extend the analysis of algorithm CombEXP from [R. Combes, M. S. Talebi Mazraeh Shahi, A. Proutiere, and M. Lelarge. Combinatorial bandits revisited. In C. Cortes, N. D. Lawrence, D. D. Lee, M. Sugiyama, and R. Garnett, editors, Advances in Neural Information Processing Systems 28, pages 2116--2124. Curran Associates, Inc., 2015. URL http://papers.nips.cc/paper/5831-combinatorial-bandits-revisited.pdf] to the high-probability case against adaptive adversaries, allowing actions to come from an arbitrary polytope. We prove a high-probability regret of \(O(T^{2/3})\) for time horizon \(T\). While this bound is weaker than the optimal \(O(\sqrt{T})\) bound achieved by GeometricHedge in [P. L. Bartlett, V. Dani, T. Hayes, S. Kakade, A. Rakhlin, and A. Tewari. High-probability regret bounds for bandit online linear optimization. In 21th Annual Conference on Learning Theory (COLT 2008), July 2008. http://eprints.qut.edu.au/45706/1/30-Bartlett.pdf], CombEXP is computationally efficient, requiring only an efficient linear optimization oracle over the convex hull of the actions.

연구 동기 및 목표

• 적응형 적대자와 함께 선형 밴디트 설정에서 CombEXP 알고리즘을 임의의 다면체로 일반화하기.
• 확률 $1 - \delta$ 에서 성립하는 CombEXP에 대한 고확률적 리그레트 경계를 확립하기.
• 행동 다면체 위의 선형 최적화 오라클에만 의존하여 계산 효율성을 유지하기.
• 기존 ComBand 및 CombEXP에 대한 결과를 고확률적 영역으로 일반화하는 이론적 분석을 제공하기.
• 고확률 보장 하에 최적의 $O(\sqrt{T})$ 리그레트 경계로의 확장이 불가능한 주요 장애물 규명하기.

제안 방법

• 알고리즘은 각 라운드마다 희소 근사 분포를 생성하며, 전체 행동에 대한 분포가 아닌 예상 행동 $\hat{x}_t$ 만 유지한다.
• 공분산 행렬 $C_t$ 와 탐색을 제어하는 데 사용되는 파라미터 $\gamma_t$ 를 활용해 손실 추정을 수행함으로써 추정 손실의 분산을 제한한다.
• 벤텐의 부등식을 진짜 손실과 추정 손실의 차이에 대한 농도 경계에 적용하여 고확률 리그레트 제어를 가능하게 한다.
• 행동 집합 $A$ 내 모든 행동에 동시에 고확률로 리그레트를 제어하기 위해 모든 행동에 대해 유니온 바운드를 사용한다.
• 다면체의 $\ell_2$-지름 $B$ 와 탐색 공분산 행렬의 최소 고유값 $\lambda$ 를 사용하여 손실 추정 오차의 분산 및 크기 경계를 유도한다.
• 리그레트 분해는 진짜 손실과 추정 손실, 그리고 탐색 전략에 의한 편차로 나누며, 각각 농도 부등식을 통해 경계된다.

실험 결과

연구 질문

• RQ1 CombEXP는 고확률 리그레트 경계를 유지하면서도 임의의 다면체로 일반화될 수 있는가?
• RQ2 적응형 적대자에 대해 CombEXP가 달성할 수 있는 가장 날카로운 고확률 리그레트 경계는 무엇인가?
• RQ3 단지 선형 최적화 오라클에 의존함으로써 고확률 설정에서도 계산 효율성이 유지될 수 있는가?
• RQ4 기하학적 헤지(GeometricHedge)의 수정 항이 존재하더라도 현재 방법이 최적의 $O(\sqrt{T})$ 리그레트 경계를 달성하지 못하는 이유는 무엇인가?
• RQ5 CombEXP를 $O(\sqrt{T})$ 리그레트로 확장하기 위해 필요한 항등식은 타당한가, 그리고 이를 검증할 수 있는가?

주요 결과

• 논문은 확률 $1 - \delta$ 에서 CombEXP에 대해 $O\left(\frac{B^{2}+nB}{\min\{\lambda,1\}}\cdot\ln\frac{2n+2}{\delta}\right)T^{2/3}$ 의 고확률 리그레트 경계를 확립한다.
• 동일한 방법은 원래 ComBand 알고리즘에 대해 $O(T^{2/3})$ 의 고확률 리그레트 경계를 도출하지만, GeometricHedge의 $O(\sqrt{T})$ 경계에 비해 최적화되지 않았다.
• 행동 집합의 크기가 지수적으로 클 경우조차도, 알고리즘은 행동의 볼륨의 볼륨에 대한 효율적인 선형 최적화 오라클만 요구함으로써 계산 효율성을 유지한다.
• 최적의 $O(\sqrt{T})$ 리그레트를 달성하는 데 있어 주요 장애물은 탐색 과정의 두 번째 모멘트와 관련된 검증되지 않은 항등식으로, 이는 역공분산과 탐색 가중치를 포함하는 행렬 등식과 동치이다.
• 이 항등식이 없으면, GeometricHedge의 수정 항이 존재하더라도 최적의 $O(\sqrt{T})$ 리그레트로의 확장이 불가능하다.
• 분석은 언제나 적용 가능한(any-time) 것으로, 파라미터 선택이 시간 수순 $T$ 에 의존하지 않으며, 시간에 따라 균일하게 경계가 유지된다.