[논문 리뷰] Thompson Sampling for 1-Dimensional Exponential Family Bandits

Nathaniel Korda, Emilie Kaufmann외 1명|arXiv (Cornell University)|2013. 07. 12.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 75

한 줄 요약

이 논문은 1차원 지수족 밴딧 문제에서 제프레즈 사전을 사용한 톰슨 샘플링의 渐近 최적성(점점 더 이상 개선되지 않는 최적의 성능)을 확립한다. 알고리즘이 오차의 정보이론적 하한선을 달성함을 증명한다. 분석은 지수족에서 사후 분포에 대한 새로운 유한시간 기하적 농도 불등식에 기반하며, 베르누이 경우를 초월해 꼬리가 두꺼운 일반 지수족 분포까지 이론적 보장을 확장한다.

ABSTRACT

Thompson Sampling has been demonstrated in many complex bandit models, however the theoretical guarantees available for the parametric multi-armed bandit are still limited to the Bernoulli case. Here we extend them by proving asymptotic optimality of the algorithm using the Jeffreys prior for 1-dimensional exponential family bandits. Our proof builds on previous work, but also makes extensive use of closed forms for Kullback-Leibler divergence and Fisher information (and thus Jeffreys prior) available in an exponential family. This allow us to give a finite time exponential concentration inequality for posterior distributions on exponential families that may be of interest in its own right. Moreover our analysis covers some distributions for which no optimistic algorithm has yet been proposed, including heavy-tailed exponential families.

연구 동기 및 목표

• 톰슨 샘플링의 이론적 보장을 베르누이 경우를 초월해 일반 1차원 지수족 분포로 확장하는 것.
• 이 넓은 범위의 밴딧 문제에서 제프레즈 사전을 사용한 톰슨 샘플링의 점점 더 이상 개선되지 않는 최적성(Asymptotic optimality)을 확립하는 것.
• 지수족에서 사후 분포에 대한 유한시간 기하적 농도 불등식을 유도하는 것. 이는 독립적인 관심사가 있는 결과이다.
• 비관적인 알고리즘이 아직 제안되지 않은 꼬리가 두꺼운 지수족 분포(예: 역가우스, 파레토)에서도 알고리즘이 여전히 최적임을 보여주는 것.

제안 방법

• 저자들은 지수족에서 피셔 정보와 KL 발산에 기반한 제프레즈 사전을 사용하여 객관적인 사전 사양을 확보한다.
• KL 발산과 피셔 정보의 닫힌 형태 표현식을 활용하여 지수족에서 매개변수에 대한 사후 분포에 대한 유한시간 기하적 농도 경계를 유도한다.
• 증명은 누적 생성 함수의 볼록성과 자연 매개변수 기반의 표준 지수족 표현식의 성질에 기반한다.
• 핵심 기술적 단계는 진짜 매개변수로부터 작은 KL 발산을 가진 매개변수 영역의 사후 확률를 적분 부등식과 연속성 논증을 사용해 경계하는 것이다.
• 지수족의 일반적 구조와 자연 통계량의 성질을 활용함으로써, 베르누이에 특화된 기법을 피한다.
• 이론적 결과는 새로운 사후 농도 불등식(정리 4)에 기반하며, 이는 점점 더 이상 개선되지 않는 최적성의 증명에 핵심적이다.

실험 결과

연구 질문

• RQ1 제프레즈 사전을 사용한 톰슨 샘플링은 1차원 지수족 밴딧 문제에서 점점 더 이상 개선되지 않는 오차 하한선을 달성하는가?
• RQ2 지수족에서 사후 분포에 대한 유한시간 기하적 농도 불등식을 도출할 수 있는가?
• RQ3 비관적인 알고리즘이 아직 제안되지 않은 꼬리가 두꺼운 지수족 분포(예: 역가우스, 파레토)에 대해서도 톰슨 샘플링은 점점 더 이상 개선되지 않는 최적성인가?
• RQ4 제프레즈 사전은 점점 더 이상 개선되지 않는 최적성 달성을 어떻게 가능하게 하는가? 다른 사전들은 충분한가?

주요 결과

• 제프레즈 사전을 사용한 톰슨 샘플링은 점점 더 이상 개선되지 않는 최적성 달성하며, $ T \to \infty $ 일 때 오차가 $ \sum_{a=1}^{K} \frac{\mu(\theta_{a^*}) - \mu(\theta_a)}{\text{K}(\theta_a, \theta_{a^*})} \cdot \ln T $ 의 형태로 증가한다.
• 논문은 지수족에서 사후 분포에 대한 유한시간 기하적 농도 경계를 유도하였으며, 이는 새로우며 밴딧 문제 외에도 유용할 수 있다.
• 분석은 비관적인 알고리즘이 아직 제안되지 않은 꼬리가 두꺼운 지수족 분포(예: 역가우스)에도 적용 가능하다.
• 증명은 지수족의 일반적 성질(예: KL 발산과 피셔 정보의 닫힌 형태 표현식 포함)을 활용하여, 베르누이에 특화된 논증을 피한다.
• 결과는 제프레즈 사전이 최적의 암호를 충분히 빠르게 사후 분포에 집중시켜 점점 더 이상 개선되지 않는 최적성 달성을 가능하게 한다는 것을 보여준다.
• 이론적 보장은 사전이 로그 농도 조건을 만족하는 한, 즉 $ -\ln \left( \int_{\theta': \text{K}(\theta_a, \theta') \leq n^{-2}} \pi_0(\theta') d\theta' \right) = o(n) $ 를 만족하면, 사전 선택에 대해 강건하다.