[논문 리뷰] Thompson Sampling with Approximate Inference

My V. T. Phan, Yasin Abbasi-Yadkori외 1명|arXiv (Cornell University)|2019. 08. 14.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 9

한 줄 요약

이 논문은 k-armed bandit 문제에서 근사 추론을 사용한 Thompson sampling을 분석하며, α-divergence에서 발생하는 작은 일정한 오차가 부족 탐색 또는 과도 탐색으로 인해 선형적 인식(regret)을 유발할 수 있음을 보여준다. 작은 일정한 오차가 발생할 경우, 이는 선형적 인식을 초래할 수 있으나, 강제 탐색을 통해 α ≤ 0인 경우에도 큰 추론 오차가 존재하더라도 선형 이하의 인식을 복원할 수 있음을 제안한다. 이는 Ensemble Sampling과 변분 추론에 대한 이론적 분석과 시뮬레이션을 통해 검증된다.

ABSTRACT

We study the effects of approximate inference on the performance of Thompson sampling in the $k$-armed bandit problems. Thompson sampling is a successful algorithm for online decision-making but requires posterior inference, which often must be approximated in practice. We show that even small constant inference error (in $α$-divergence) can lead to poor performance (linear regret) due to under-exploration (for $α<1$) or over-exploration (for $α>0$) by the approximation. While for $α> 0$ this is unavoidable, for $α\leq 0$ the regret can be improved by adding a small amount of forced exploration even when the inference error is a large constant.

연구 동기 및 목표

• k-armed bandit 문제에서 근사 사후 분포 추론의 영향을 Thompson sampling 성능에 미치는 영향을 조사하는 것.
• 소규모 추론 오차가 부족 탐색 또는 과도 탐색으로 인해 선형적 인식을 초래하는 조건을 규명하는 것.
• 큰 추론 오차가 존재할 경우 선형 이하의 인식을 복원할 수 있는 강제 탐색 기반 메커니즘을 제안하고 분석하는 것.
• Ensemble Sampling과 변분 추론에 대한 이론적 분석과 시뮬레이션을 통해 이론적 결과를 검증하는 것.

제안 방법

• 진짜 사후분포 Πt와 근사 사후분포 Qt 간의 추론 오차를 일반적인 척도로 α-divergence를 사용한다.
• 빈도주의 및 베이지안 설정 모두에서 인식을 분석하며, α < 1인 경우 부족 탐색과 α > 0인 경우 과도 탐색을 구분한다.
• 후보 집합에서 무작위 간격으로 균일 샘플링을 수행하는 강제 탐색 전략을 도입하여 사후분포 집중과 선형 이하의 인식을 보장한다.
• Ensemble Sampling과 평균장 변분 추론과 같은 기존 알고리즘에 이 방법을 적용하여 개선된 인식 한계를 보여준다.
• KL 발산과 사후분포 집중에 대한 이론적 경계를 사용하여 강제 탐색 조건 하에서 선형 이하의 인식을 증명한다.
• 정규 분포 사전과 가능도를 사용한 시뮬레이션을 통해 정확한 Thompson sampling, 근사 추론, 강제 탐색 변형 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 진짜 사후분포와 근사 사후분포 간 α-divergence에서 발생하는 소규모 일정한 오차가 Thompson sampling에서 선형적 인식을 초래할 수 있는가?
• RQ2 근사 추론 오차로 인해 발생하는 과도 탐색(α > 0) 또는 부족 탐색(α < 1)이 k-armed bandit 설정에서 선형적 인식을 초래하는가?
• RQ3 큰 추론 오차가 존재할 경우, 특히 α ≤ 0일 때 강제 탐색이 선형 이하의 인식을 복원할 수 있는가?
• RQ4 Ensemble Sampling과 변분 추론과 같은 근사 추론 방법의 성능은 강제 탐색이 적용된 후 어떻게 변화하는가?
• RQ5 근사 추론 조건 하에서 사후분포 집중과 선형 이하의 인식을 보장하는 이론적 조건은 무엇인가?

주요 결과

• 소규모 일정한 추론 오차가 α-divergence에서 발생할 경우, 사전에 관계없이 지속적인 부족 탐색 또는 과도 탐색으로 인해 Thompson sampling에서 선형적 인식이 발생할 수 있다.
• α > 0일 경우, 선형적 인식은 근사가 최적의 액션에 집중하지 못함으로써 발생하는 과도 탐색으로 인해 발생한다.
• α < 1이고 약간의 사전 조건을 만족할 경우, 선형적 인식은 사후분포가 진짜 최적의 액션에 집중하지 못하는 부족 탐색으로 인해 발생한다.
• α ≤ 0일 경우, 강제 탐색(균일 샘플링)을 통해 사후분포 집중이 복원되고, 큰 일정한 추론 오차가 존재하더라도 선형 이하의 인식이 보장된다.
• 이론적 분석 결과, 근사 오차가 α-divergence 기준으로 유계이면서 강제 탐색이 적용될 경우, 인식이 T에 대해 선형 이하가 된다.
• 시뮬레이션과 이론적 분석을 통해 강제 탐색이 Ensemble Sampling과 평균장 변분 추론의 성능을 향상시키며, O(log T) 수준의 모델로 선형 이하의 인식을 달성함을 확인하였다.