[논문 리뷰] PG-TS: Improved Thompson Sampling for Logistic Contextual Bandits

Bianca Dumitrascu, Karen Feng외 1명|arXiv (Cornell University)|2018. 05. 18.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 11

한 줄 요약

이 논문은 Pólya-Gamma 보정을 사용하여 효율적이고 완전한 베이지안 사후 추론을 가능하게 하는, 로지스틱 컨텍스추얼 밴디트에 대한 새로운 톰슨 샘플링 알고리즘인 PG-TS를 제안한다. Pólya-Gamma 잠재 변수를 사용하는 깁스 샘플러를 적용함으로써, PG-TS는 라플라스-TS와 GLM-UCB에 비해 탐색-이용 균형과 수렴 속도 면에서 뛰어난 경험적 성능을 달성하면서도 계산 효율성을 유지한다.

ABSTRACT

We address the problem of regret minimization in logistic contextual bandits, where a learner decides among sequential actions or arms given their respective contexts to maximize binary rewards. Using a fast inference procedure with Polya-Gamma distributed augmentation variables, we propose an improved version of Thompson Sampling, a Bayesian formulation of contextual bandits with near-optimal performance. Our approach, Polya-Gamma augmented Thompson Sampling (PG-TS), achieves state-of-the-art performance on simulated and real data. PG-TS explores the action space efficiently and exploits high-reward arms, quickly converging to solutions of low regret. Its explicit estimation of the posterior distribution of the context feature covariance leads to substantial empirical gains over approximate approaches. PG-TS is the first approach to demonstrate the benefits of Polya-Gamma augmentation in bandits and to propose an efficient Gibbs sampler for approximating the analytically unsolvable integral of logistic contextual bandits.

연구 동기 및 목표

• 고차원적이거나 비정규 분포를 띠는 컨텍스트에서 표준 베이지안 방법(예: 라플라스 근사)이 사후 추론이 불가능한 문제를 해결하기 위해.
• 모델 파라미터와 컨텍스트 특징 공분산의 정확한 사후 추정을 가능하게 하는 완전한 베이지안 접근법을 개발하여 탐색-이용 균형을 향상시키기 위해.
• 베이지안 추론이 분석적으로 불가능한 사후 분포에 대해 MCMC 샘플링을 효율적으로 수행할 수 있도록 해주는 Pólya-Gamma 보정을 밴디트 알고리즘에 처음으로 적용하기 위해.
• 시뮬레이션 환경과 실제 데이터(뉴스 추천 및 숲 커버 타입 예측 포함)에서 PG-TS의 성능을 평가하여 경험적 우수성을 입증하기 위해.

제안 방법

• 불가능한 로지스틱 가능도를 조건부 공액 형태로 변환하기 위해 Pólya-Gamma 보정을 도입하여 효율적 깁스 샘플링을 가능하게 한다.
• 모델 파라미터와 Pólya-Gamma 잠재 변수의 사후 분포에서 순차적으로 샘플링하는 깁스 샘플러를 적용하며, 조건부 공액성을 활용한다.
• 컨텍스트 특징의 사후 공분산을 명시적으로 추정함으로써 특징 간 의존성을 포착하고 탐색을 향상시키며, 라플라스-TS와 달리 독립성을 가정하지 않는다.
• 실제 온라인 학습 환경의 제약 조건과 부합하기 위해 배치 업데이트 방식을 사용하면서도 낮은 계산 오버헤드를 유지한다.
• 편향 없는 오프라인 평가를 통해 시뮬레이션 환경과 실제 데이터 세트(예: Yahoo! Today Module 및 숲 커버 타입)에 모두 적용한다.
• 저지연 환경에서의 배포를 고려해 스트리밍 버전인 PG-TS-stream을 제안하며, 최소한의 계산 비용으로도 성능을 유지한다.

실험 결과

연구 질문

• RQ1 Pólya-Gamma 보정이 로지스틱 컨텍스추얼 밴디트에서 사후 샘플링 향상에 효과적으로 활용될 수 있는가?
• RQ2 컨텍스트 특징 공분산을 명시적으로 추정하는 것이 라플라스 근사에 비해 더 나은 탐색과 더 낮은 위험도를 이끌어내는가?
• RQ3 PG-TS는 시뮬레이션 및 실제 데이터에서 최첨단 기준 모델인 라플라스-TS와 GLM-UCB에 비해 경험적으로 어떻게 성능을 발휘하는가?
• RQ4 실제 응용에서 흔한 스트리밍 또는 지연된 업데이트 환경에서도 PG-TS는 강력한 성능을 유지할 수 있는가?
• RQ5 고차원적이거나 비정규 분포를 띠는 특징 환경에서 Pólya-Gamma 보정은 수렴 속도 향상과 위험도 최소화에 어떤 영향을 미치는가?

주요 결과

• PG-TS는 시뮬레이션 및 실제 데이터(숲 커버 타입 데이터셋 포함)에서 누적 위험도 측면에서 라플라스-TS와 GLM-UCB를 뛰어넘는 성능을 보였다.
• 숲 커버 타입 데이터셋에서 PG-TS는 더 낮은 위험도와 더 빠른 수렴 속도를 기록했으며, 특히 라플라스-TS가 종종 열악한 액션에 갇히는 것과 대비해 탐색 효율성이 뚜렷하게 향상되었다.
• Yahoo! Today Module 뉴스 추천 작업에서 PG-TS는 모든 지연 설정에서 라플라스-TS보다 더 높은 평균 클릭률(CTR)을 달성했으며, 짧은 지연 조건에서 가장 큰 성과를 보였다.
• PG-TS 하에서 상위 액션의 선택 빈도 중앙값은 라플라스-TS보다 더 균형 잡힌 탐색을 보였으며, 열악한 액션으로의 조기 수렴을 효과적으로 방지함을 시사한다.
• PG-TS-stream은 최소한의 계산 오버헤드로도 뛰어난 성능을 유지하여 스트리밍 배포의 실현 가능성을 입증했다.
• PG-TS에서 컨텍스트 특징 공분산을 명시적으로 모델링한 결과, 고차원적이거나 비정규 분포를 띠는 특징 환경에서 라플라스-TS가 성능을 떨어뜨리는 상황에서도 더 강력하고 적응력 있는 탐색이 가능했다.