[논문 리뷰] Meta-Thompson Sampling

Branislav Kveton, Mikhail Konobeev외 5명|arXiv (Cornell University)|2021. 02. 11.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 4

한 줄 요약

이 논문은 메타-스모킹 샘플링(MetaTS)을 소개한다. MetaTS는 메타-포스터리어를 유지함으로써 여러 밴딧 작업 간의 상호작용을 통해 알려지지 않은 사전분포에 적응하는 메타학습 알고리즘이다. 이 알고리즘은 시간이 지남에 따라 진짜 사전분포를 학습함으로써 베이즈 손실을 향상시키며, 이론적 보장과 실험적 검증을 통해 알려진 사전분포를 가진 스모킹 샘플링과 유사한 성능을 보인다.

ABSTRACT

Efficient exploration in bandits is a fundamental online learning problem. We propose a variant of Thompson sampling that learns to explore better as it interacts with bandit instances drawn from an unknown prior. The algorithm meta-learns the prior and thus we call it MetaTS. We propose several efficient implementations of MetaTS and analyze it in Gaussian bandits. Our analysis shows the benefit of meta-learning and is of a broader interest, because we derive a novel prior-dependent Bayes regret bound for Thompson sampling. Our theory is complemented by empirical evaluation, which shows that MetaTS quickly adapts to the unknown prior.

연구 동기 및 목표

• 암시적인 메타-사전분포에서 유래된 알려지지 않은 암수 평균에 대한 진짜 사전분포가 존재할 때 스모킹 샘플링을 설계하는 데 도전하는 것.
• 다양한 밴딧 작업에서 실현된 사전분포에 탐색 전략을 적응시키는 계산적으로 효율적인 메타학습 알고리즘을 개발하는 것.
• 스모킹 샘플링에 대해 사전의존적 베이즈 손실 경계를 제안하는 새로운 경계를 제공하는 것.
• 메타TS가 알려진 사전분포를 가진 스모킹 샘플링과 유사한 성능을 보임을 경험적으로 입증하는 것.

제안 방법

• 각 작업 s에서 MetaTS는 알려지지 않은 인스턴스 사전분포 P_*에 대한 메타-포스터리어 Q_s를 유지하며, 이는 이전 작업의 관측력에 기반해 갱신된다.
• 각 작업 s에서 MetaTS는 Q_s로부터 후보 사전분포 P_s ∼ Q_s를 샘플링하고, n라운드 동안 표준 스모킹 샘플링을 P_s를 사용해 실행한다.
• 효율적인 포스터리어 갱신을 위해 공액 사전분포(예: 정규분포)를 사용하며, 정규 밴딧에서 메타-포스터리어의 닫힌 형태 갱신을 활용한다.
• 메타TS는 베르누이 및 정규 밴딧 모두에서 효율적으로 구현되며, 관측된 보상과 암수 선택 수에 기반한 갱신을 수행한다.
• 이론적 분석은 각 작업당 한 번의 암수 선택만을 사용하여 베이즈 손실을 경계하며, 이는 P_*에 대한 적응으로 인해 향상됨을 보여준다.
• 이 방법은 선형 밴딧으로 일반화되며, 부록 D에서 닫힌 형태의 메타-포스터리어 갱신이 제시된다.

실험 결과

연구 질문

• RQ1 여러 밴딧 인스턴스 간의 상호작용을 통해 메타학습을 통해 알려지지 않은 사전분포를 학습함으로써 스모킹 샘플링을 향상시킬 수 있는가?
• RQ2 메타TS는 알려진 진짜 사전분포를 가진 스모킹 샘플링과 유사한 베이즈 손실을 달성하는가?
• RQ3 메타학습의 이론적 이점은 스모킹 샘플링의 사전의존적 손실 경계 측면에서 무엇인가?
• RQ4 메타-사전분포의 잘못된 특정화에 대해 메타TS는 얼마나 강건한가?
• RQ5 메타TS는 더 높은 차원 또는 더 많은 암수 문제에 스케일링되며 성능을 유지할 수 있는가?

주요 결과

• 메타학습을 통해 MetaTS는 베이즈 손실이 향상되며, 각 작업당 한 번의 암수 선택만을 기반으로 하는 보수적인 분석에서도 마찬가지다.
• 경험적 결과는 MetaTS가 알려지지 않은 사전분포 P_*에 대해 매우 신속하게 적응하며, 알려진 사전분포를 가진 스모킹 샘플링과 동일한 성능을 달성함을 보여준다.
• 암수 수 K 또는 차원 d가 증가함에 따라 손실 향상 효과는 유지되지만, 사전분포의 폭 σ₀가 메타-사전분포 폭 σ_q에 가까워질수록 점차 감소한다.
• 메타-사전분포의 잘못된 특정화에 대해 MetaTS는 강건하며, 실험에서 미미한 성능 저하만 관찰된다.
• 스모킹 샘플링의 사전의존적 상한선에 대한 새로운 상한선이 유도되었으며, 이는 더 넓은 이론적 관심을 가진다.
• 정규 잡음이 있는 선형 밴딧에서 메타-포스터리어 갱신은 닫힌 형태의 해를 가지며, 이는 문맥 밴딧으로의 잠재적 확장을 가능하게 한다.