[논문 리뷰] On the Prior Sensitivity of Thompson Sampling

Che-Yu Liu, Lihong Li|arXiv (Cornell University)|2015. 06. 10.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 6

한 줄 요약

이 논문은 스토케스틱 다중 암반 문제에서 톰슨 샘플링의 사전 분포에 대한 민감도에 대한 엄밀한 이론적 분석을 제공한다. 마팅게일 이론과 톰슨 샘플링의 새로운 구조적 성질을 사용하여, 진짜 모델에 대한 사전 확률 $p$일 때 열악한 사전과 양호한 사전의 경우 각각 $O(\sqrt{T/p})$ 및 $O(\sqrt{(1-p)T})$의 날카운 감소한 리그레트 한계를 확립한다.

ABSTRACT

The empirically successful Thompson Sampling algorithm for stochastic bandits has drawn much interest in understanding its theoretical properties. One important benefit of the algorithm is that it allows domain knowledge to be conveniently encoded as a prior distribution to balance exploration and exploitation more effectively. While it is generally believed that the algorithm's regret is low (high) when the prior is good (bad), little is known about the exact dependence. In this paper, we fully characterize the algorithm's worst-case dependence of regret on the choice of prior, focusing on a special yet representative case. These results also provide insights into the general sensitivity of the algorithm to the choice of priors. In particular, with $p$ being the prior probability mass of the true reward-generating model, we prove $O(\sqrt{T/p})$ and $O(\sqrt{(1-p)T})$ regret upper bounds for the bad- and good-prior cases, respectively, as well as \emph{matching} lower bounds. Our proofs rely on the discovery of a fundamental property of Thompson Sampling and make heavy use of martingale theory, both of which appear novel in the literature, to the best of our knowledge.

연구 동기 및 목표

• 톰슨 샘플링의 리그레트가 사전 분포 선택에 따라 이론적으로 어떻게 영향을 받는지 이해하는 것.
• 진짜 모델에 대해 사전이 열악하게 정보가 부족한 경우(낮은 $p$) 또는 잘 알려진 경우(높은 $p$)의 최악의 리그레트를 특성화하는 것.
• 사전 품질에 대한 민감도를 정량화하기 위해 리그레트에 대해 상한과 하한이 일치하는 결과를 확립하는 것.
• 분석을 가능하게 하는 톰슨 샘플링의 기본적인 구조적 성질을 규명하는 것—특히 마팅게일 방법을 통해.

제안 방법

• 사전 민감도를 연구하기 위해 대표적인 케이스로 간주되는 두 모델, 두 행동의 밴딧 설정을 분석한다.
• 마팅게일 이론을 사용하여 사후 농도와 행동 선택 확률에 대한 한계를 유도한다.
• 관측된 보상 기반으로 모델에 대한 사후 분포를 모델링하기 위해 베이지안 업데이트 규칙을 반복적으로 적용한다.
• 다른 사전 질량을 가진 경우의 기대 리그레트를 비교하여 리그레트에 대한 재귀 부등식을 도출한다.
• 다른 사전 질량을 가진 경우의 리그레트 차이를 제한하기 위해 모델 간의 커플링 추론을 적용한다.
• 다양한 사전 질량 $p$를 가진 베르누이 밴딧에서 이론적 결과를 실증적으로 검증한다.

실험 결과

연구 질문

• RQ1 톰슨 샘플링의 리그레트는 진짜 모델에 대한 사전 확률 $p$에 따라 어떻게 스케일링되는가?
• RQ2 사전이 양호한 경우($p \approx 1$) 또는 열악한 경우($p \approx 0$)에 리그레트의 날카운 상한과 하한은 무엇인가?
• RQ3 대표적인 밴딧 설정에서 리그레트의 사전 품질 의존성이 완전히 특성화될 수 있는가?
• RQ4 톰슨 샘플링의 어떤 기본적인 구조적 성질이 이러한 정밀한 리그레트 분석을 가능하게 하는가?

주요 결과

• 진짜 모델에 대한 사전 질량 $p$가 낮은 열악한 사전의 경우, 리그레트는 $O(\sqrt{T/p})$ 이하로 제한되며, 이 한계는 날카롭다.
• 진짜 모델에 대한 사전 질량 $p$가 높은 양호한 사전의 경우, 리그레트는 $O(\sqrt{(1-p)T})$ 이하로 제한되며, 이 한계 역시 날카롭다.
• 논문은 일치하는 하한을 확립하여, 열악한 사전의 경우 리그레트가 $\Theta(\sqrt{T/p})$로 스케일링되고, 양호한 사전의 경우 $\Theta(\sqrt{(1-p)T})$로 스케일링됨을 확인한다.
• 분석 결과, 리그레트는 사전 품질에 매우 민감하며, 사전이 약한 경우 리그레트는 $\sqrt{1/p}$ 비례로 증가하고, 사전이 강한 경우 $\sqrt{1-p}$ 비례로 증가함을 밝혀냈다.
• 실증 결과는 예측된 리그레트의 $\sqrt{1/p}$ 및 $\sqrt{1-p}$ 비례 스케일링을 확인하며, 이론적 한계의 날카로움을 지지한다.
• 마팅게일 이론과 톰슨 샘플링의 행동에 대한 새로운 구조적 통찰을 활용함으로써, 이 알고리즘에 대한 더 넓은 분석에 적용 가능한 도구를 제공한다.