[논문 리뷰] Racing Thompson: an Efficient Algorithm for Thompson Sampling with Non-conjugate Priors

Yichi Zhou, Jun Zhu외 1명|arXiv (Cornell University)|2017. 08. 16.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 4

한 줄 요약

이 논문은 비공액 사전분포를 가진 톰슨 샘플링을 위한 효율적인 알고리즘인 Racing Thompson을 제안한다. 비공액 사전분포 하에서 사후분포 추론이 불가능한 문제를 Gumbel-Max 기법을 활용한 최적의 암호 식별 문제로 재구성함으로써 해결한다. 이 방법은 정확한 사후분포 추론이 필요 없이 다루기 쉬운 제안 분포에서 샘플링함으로써 사후분포 추론의 계산적 비효율성을 피하며, 비공액 및 구조적 사전분포 설정 모두에서 SMC 및 공액 사전분포 기반 기준선보다 뛰어난 성능을 보인다.

ABSTRACT

Thompson sampling has impressive empirical performance for many multi-armed bandit problems. But current algorithms for Thompson sampling only work for the case of conjugate priors since these algorithms require to infer the posterior, which is often computationally intractable when the prior is not conjugate. In this paper, we propose a novel algorithm for Thompson sampling which only requires to draw samples from a tractable distribution, so our algorithm is efficient even when the prior is non-conjugate. To do this, we reformulate Thompson sampling as an optimization problem via the Gumbel-Max trick. After that we construct a set of random variables and our goal is to identify the one with highest mean. Finally, we solve it with techniques in best arm identification.

연구 동기 및 목표

• 비공액 사전분포 하에서 톰슨 샘플링의 사후분포 추론이 계산적으로 불가능한 문제를 해결하기 위해.
• 공액 사전분포가 불가능하거나 비최적인 복잡한 모델에서 효율적이고 확장 가능한 톰슨 샘플링을 가능하게 하기 위해.
• 완전한 사후분포 계산을 피하면서도 강력한 경험적 성능을 유지하는 이론적으로 타당한 방법을 제공하기 위해.
• 비공액 설정에서 이론적 보장을 갖는 정확한 멈춤 기준과 샘플 수 결정 방법을 갖춘 실용적인 알고리즘을 개발하기 위해.

제안 방법

• Gumbel-Max 기법을 사용하여 사후분포에서의 샘플링을 Gumbel 분포로 편향된 무작위 변수의 최대화 문제로 변환함으로써, 톰슨 샘플링을 최적의 암호 식별(Best Arm Identification, BAI) 문제로 재구성한다.
• 비공액 사전분포 하에서 정확한 사후분포 추론이 필요 없도록 다루기 쉬운 제안 분포를 구성하여 샘플링한다.
• BAI에서 이론적으로 보장된 성능을 활용하여, 편향된 변수들 중 기대값이 가장 큰 암호를 식별하기 위해 레이싱 스타일 알고리즘을 사용한다.
• 서브가우시안 농도 기반의 멈춤 기준을 사용하여 샘플 수를 적응적으로 결정함으로써 이론적 성능 한계를 확보한다.
• 제안 분포에서 샘플을 추출하고 Gumbel-max 기준에 따라 행동을 선택함으로써 순차적 결정 프레임워크에 이 방법을 통합한다.
• BAI 재구성에 관여하는 무작위 변수의 서브가우시안성 가정을 통해 이론적 타당성을 확보한다.

실험 결과

연구 질문

• RQ1 비공액 사전분포 설정에서 사후분포 추론이 필요 없이 톰슨 샘플링을 효율적으로 구현할 수 있는가?
• RQ2 Gumbel-Max 기법은 어떻게 톰슨 샘플링을 최적의 암호 식별 문제로 재구성하는 데 활용될 수 있는가?
• RQ3 비공액 톰슨 샘플링에서 이론적 보장을 갖는 샘플 수를 결정하는 원칙적인 방법은 무엇인가?
• RQ4 제안된 방법의 성능은 비공액 및 구조적 사전분포 상황에서 SMC 및 공액 사전분포 기준선과 비교해 어떻게 되는가?

주요 결과

• Racing Thompson는 베르누이 밴딧에서 비적절한 베타 사전분포를 사용한 톰슨 샘플링보다 뚜렷이 뛰어나며, 시간 단계가 증가할수록 성능 격차가 커진다.
• 초기 시간 단계에서는 작은 입자 수로 SMC와 유사한 성능을 달성하지만, 관측 수가 증가함에 따라 SMC를 능가한다.
• 절단된 정규 사전분포를 가진 비공액 설정에서는 Racing Thompson이 누적 손실 측면에서 SMC 및 공액 사전분포 기반 톰슨 샘플링을 모두 능가한다.
• 의존적인 암호(예: 주제 기반 상관관계)를 포함하는 구조적 사전분포 상황에서도 이 방법은 강력한 성능을 유지하며, SMC 및 공액 사전분포 기준선을 모두 능가한다.
• 이론적 분석 결과, 서브가우시안 가정 하에 멈춤 기준이 타당하며, 이론적으로 타당한 샘플 수 선택 메커니즘을 제공한다.