[논문 리뷰] Bayesian Online Model Selection

Aida Afshar, Yuke Zhang외 1명|arXiv (Cornell University)|2026. 02. 20.

Advanced Bandit Algorithms Research인용 수 0

한 줄 요약

온라인 모델 선택을 위한 베이지안 알고리즘을 도입하고, Õ(d* M √T + √(M T))의 오라클-최적 베이지안 후회 경계를 증명한다; 데이터 공유와 사전 mis-specification의 효과를 실험적으로 보인다.

ABSTRACT

Online model selection in Bayesian bandits raises a fundamental exploration challenge: When an environment instance is sampled from a prior distribution, how can we design an adaptive strategy that explores multiple bandit learners and competes with the best one in hindsight? We address this problem by introducing a new Bayesian algorithm for online model selection in stochastic bandits. We prove an oracle-style guarantee of $O\left( d^* M \sqrt{T} + \sqrt{(MT)} ight)$ on the Bayesian regret, where $M$ is the number of base learners, $d^*$ is the regret coefficient of the optimal base learner, and $T$ is the time horizon. We also validate our method empirically across a range of stochastic bandit settings, demonstrating performance that is competitive with the best base learner. Additionally, we study the effect of sharing data among base learners and its role in mitigating prior mis-specification.

연구 동기 및 목표

• 환경 인스턴스가 사전에서 추출된 Bayesian 밴디트에서 온라인 모델 선택의 동기를 부여한다.
• 오라클-최고의 보장을 가진 여러 기본 밴디트 학습기 중에서 선택하는 메타 학습기를 설계한다.
• 사후 샘플링을 활용해 기본 학습기들을 비교하는 데이터 기반 접근법을 제공하되 알려진 후회 경계가 필요하지 않다.
• 프라이어 지정 오판과 기본 학습기 간 데이터 공유에 대한 견고성과 실험적 성능을 보여준다.

제안 방법

• 기본 학습기들에 대한 글로벌 사후분포를 유지하고 이를 통해 평균 보상을 샘플링하는 Bayesian online model selection (B-MS) 알고리즘을 제안한다.
• base learner를 비교하고 최솟값의 포텐셜을 선택하기 위해 균형 포텐셜 φt(i) = nt^i * μ̃t* − ∑l∈It^i μ̃t(al) 을 정의한다.
• 기본 학습기가 stationary arm일 때 이 방법이 TS와 유사한 베이지안 후회 경계를 회복한다.
• ḂayesRegret_T ≤ ṫilde{O}(d⋆ M √T + √(M T))의 오라클-최적 베이지안 후회 경계를 증명한다.
• 기본 학습기 간 데이터 공유가 성능을 향상시키고 사전 mis-specification을 완화하는 데 도움이 됨을 보인다.

(a) Well-specified meta learner, one well-specified base learner

실험 결과

연구 질문

• RQ1 사전에서 추출된 realized 환경에 대해 hindsight에서 선택된 최상의 기본 학습기와 경쟁할 수 있는 베이지안 메타-학습자가 있는가?
• RQ2 기본 학습기 간 데이터 공유가 학습 효율성과 사전 미스스펙피케이션에 대한 견고성에 어떤 영향을 미치는가?
• RQ3 제안된 온라인 모델 선택 알고리즘의 베이지안 후회는 얼마나 되며, horizon T, 기본 학습기 수 M, 최적 기본 학습기의 후회 계수 d⋆와 어떻게 확장되는가?
• RQ4 베이지안 온라인 모델 선택 프레임워크가 스토너니 TS와 어떤 관련이 있으며 일반화되는가?
• RQ5 특정 조건에서 제안된 방법이 기존의 TS 보장을 어떻게 회복하는가?

주요 결과

• 제안된 B-MS 알고리즘은 베이지안 후회 경계 Õ(d⋆ M √T + √(M T))를 달성한다.
• 이 방법은 Thompson Sampling을 일반화하며, K개의 기본 학습기가 각각 팔을 고정하는 경우 Õ(√(K T))의 베이지안 후회를 회복한다.
• 기본 학습기 간 데이터 공유가 메타-학습기의 성능을 실험 전반에 걸쳐 향상시킨다.
• 적절하지 않은 메타-학습기가 하나의 기본 학습기가 잘 지정된 경우에 회복될 수 있어 오판에 대한 견고성을 보여준다.
• 실험 결과는 B-MS가 UCB 및 LinTS 설정과 다양한 사전에서 최상의 기본 학습기와 경쟁력을 가짐을 시사한다.

(b) Mis-specified meta learner, one well-specified base learner