[논문 리뷰] The End of Optimism? An Asymptotic Analysis of Finite-Armed Linear Bandits

Tor Lattimore, Csaba Szepesvári|arXiv (Cornell University)|2016. 10. 14.

Advanced Bandit Algorithms Research참고 문헌 15인용 수 7

한 줄 요약

이 논문은 유한한 수의 암을 가진 선형 밴디트에서 옵티미즘 기반 및 톰슨 샘플링 알고리즘은 간단한 설정에서도 점점 더 최적의 결과를 달성할 수 없으며, 최적에서 임의로 멀리 떨어질 수 있음을 보여준다. 또한 최적의 점점 더 작은 점근적 재해를 위한 상하한을 확립하고, 정보 이론적으로 유도된 새로운 전략을 제안하여 이 최적의 속도를 달성한다.

ABSTRACT

Stochastic linear bandits are a natural and simple generalisation of finite-armed bandits with numerous practical applications. Current approaches focus on generalising existing techniques for finite-armed bandits, notably the optimism principle and Thompson sampling. While prior work has mostly been in the worst-case setting, we analyse the asymptotic instance-dependent regret and show matching upper and lower bounds on what is achievable. Surprisingly, our results show that no algorithm based on optimism or Thompson sampling will ever achieve the optimal rate, and indeed, can be arbitrarily far from optimal, even in very simple cases. This is a disturbing result because these techniques are standard tools that are widely used for sequential optimisation. For example, for generalised linear bandits and reinforcement learning.

연구 동기 및 목표

• 가우시안 노이즈가 존재하는 유한한 암을 가진 선형 밴디트의 최적 점근적 재해 속도를 규명하는 것.
• 옵티미즘과 톰슨 샘플링이라는 널리 사용되는 알고리즘 원칙이 이 최적 속도를 달성하는 데에서 가지는 한계를 분석하는 것.
• 이러한 표준 접근 방식이 간단한 인스턴스에서도 점근적 재해 측면에서 임의로 최적이 아닌 결과를 낳을 수 있음을 보여주는 것.
• 정보 이론적 원리를 활용하여 최적의 점근적 재해 속도를 달성하는 새로운 알고리즘 전략을 개발하는 것.
• 옵티미즘과 톰슨 샘플링을 초월하여 더 효율적이고 유한 시간 최적 알고리즘을 설계하기 위한 기초를 마련하는 것.

제안 방법

• 차원 d에 대한 향상된 의존도를 가지는 자기정규화된 농도 부등식을 사용하여 인스턴스에 의존하는 점근적 재해 경계를 유도한다.
• d=2 차원에서 세 개의 암을 가진 반례를 구성하여, 옵티미스틱 알고리즘이 정보 가치가 높은 열악한 암을 충분히 탐색하지 못함을 보여준다.
• 일致적인 옵티미스틱 알고리즘은 작은 하위 최적성 갭(예: Δx = ε)을 가진 암을 충분히 자주 탐색할 수 없으며, 이로 인해 재해가 Ω(1/ε)의 비율로 증가함을 증명한다.
• 톰슨 샘플링을 분석하여, 후행 분포의 급속한 집중으로 인해 Tₑ₂(t−1)가 O(α log n)를 초과할 경우 정보가 풍부한 열악한 암 e₂를 충분히 샘플링하지 못함을 보여준다.
• 정보 수확을 최적화하는 데 기반한 새로운 전략을 제안하며, 이는 반례에서 최적의 재해 속도 c(𝒜,θ) = 128α²를 달성한다.
• 라그랑주 완화 방법을 사용하여 탐색과 이용을 정보 이론 기준으로 균형 잡는 최적의 암 선택 정책을 유도한다.

실험 결과

연구 질문

• RQ1 옵티미즘 기반 알고리즘은 유한한 암을 가진 선형 밴디트에서 최적의 점근적 재해 속도를 달성할 수 있는가?
• RQ2 톰슨 샘플링 알고리즘은 거의 최적의 정보가 풍부한 열악한 암을 탐색하지 못하는 정도는 어느 정도인가?
• RQ3 가우시안 노이즈와 유한한 암을 가진 선형 밴디트의 점근적 재해에 대한 기본적인 한계는 무엇인가?
• RQ4 옵티미즘과 톰슨 샘플링을 피하는 전략이 최적의 재해 속도를 달성할 수 있는가?
• RQ5 행동 집합의 구조와 매개변수 공간의 기하학적 특성이 달성 가능한 재해 속도에 어떤 영향을 미치는가?

주요 결과

• 옵티미스틱 알고리즘은 최적이 아닌 재해를 겪을 수 있으며, 작은 ε에 대해 재해가 Ω(1/ε) 비율로 증가하지만, 최적의 재해는 128α² 이하로 제한된다.
• 톰슨 샘플링도 후행 분포의 급속한 집중으로 인해 정보가 풍부한 열악한 암을 충분히 탐색하지 못해, 탐색 행동이 최적이 아니게 된다.
• 반례의 최적 점근적 재해 속도는 c(𝒜,θ) = 128α²이며, 이는 옵티미즘 또는 톰슨 샘플링이 달성하는 재해보다 엄격히 작다.
• 제안된 전략은 정보 수확을 명시적으로 최적화함으로써 최적의 재해 속도를 달성하며, 점근적 영역에서 옵티미즘과 톰슨 샘플링을 모두 능가한다.
• 분석을 통해 Abbasi-Yadkori 등(2011)의 자기정규화된 농도 부등식을 차원 d에 대해 점근적 영역에서 d 배 향상시켰다.
• 결과적으로 표준 알고리즘 원칙인 옵티미즘과 톰슨 샘플링는 간단한 설정에서도 선형 밴디트에서 점근적 최적화를 달성하는 데 본질적으로 결함이 있음을 보여준다.