[논문 리뷰] Policy Gradient Optimization of Thompson Sampling Policies

Seungki Min, Ciamac C. Moallemi외 1명|arXiv (Cornell University)|2020. 06. 30.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 6

한 줄 요약

이 논문은 사후 분포의 매개수를 '가짜 행동(pseudo-action)'로 간주함으로써, 정책 기반 강화 학습 방법을 사용해 톰슨 샘플링 정책를 최적화하는 방법을 제안한다. 이는 샘플링 전략에 대한 기울기 기반 조정을 가능하게 하며, 과도한 탐색을 줄이는 메타-매개수를 학습함으로써, 과도한 암수나 높은 노이즈가 존재하는 어려운 밴딧 설정에서 톰슨 샘플링의 성능을 향상시킨다. 수치 실험을 통해 레그레트 감소 효과가 뚜렷하게 나타났다.

ABSTRACT

We study the use of policy gradient algorithms to optimize over a class of generalized Thompson sampling policies. Our central insight is to view the posterior parameter sampled by Thompson sampling as a kind of pseudo-action. Policy gradient methods can then be tractably applied to search over a class of sampling policies, which determine a probability distribution over pseudo-actions (i.e., sampled parameters) as a function of observed data. We also propose and compare policy gradient estimators that are specialized to Bayesian bandit problems. Numerical experiments demonstrate that direct policy search on top of Thompson sampling automatically corrects for some of the algorithm's known shortcomings and offers meaningful improvements even in long horizon problems where standard Thompson sampling is extremely effective.

연구 동기 및 목표

• 톰슨 샘플링의 알려진 한계, 즉 단기적 또는 다수의 암수를 가진 설정에서 과도한 탐색으로 인해 성능이 떨어지는 문제를 해결하기 위해.
• 경험적 설계를 넘어서 계산 중심의 자동화된 톰슨 샘플링 정책 개선 방법을 개발하기 위해.
• 기본 액션 대신 사후 분포의 매개수(가짜 행동) 선택을 통한 결정으로 재정의함으로써, 톰슨 샘플링 정책의 가족에 대해 정책 기반 강화 학습을 가능하게 하기 위해.
• 예를 들어 사전 분포의 초모수나 사후 형태와 같은 메타-매개수를 학습함으로써, 베이지안 밴딧 문제에서 성능 향상을 이끌어내는 것이 가능하다는 것을 입증하기 위해.

제안 방법

• 톰슨 샘플링을 이중 단계 과정으로 재구성: 첫 번째 단계는 정책에 따라 의존적인 사후 분포에서 매개수를 샘플링하는 것(가짜 행동), 두 번째 단계는 그 매개수 하에 최적의 액션을 선택하는 것.
• 샘플된 매개수를 결정 변수로 간주함으로써, 닫힌 형태의 사후 밀도를 통해 정책 기반 강화 학습 방법이 적용 가능한 액션 분포를 확보한다.
• 샘플링 정책을 메타-매개수(예: 사전 분산, 노이즈 분포 형태 등)로 매개수화하여, 이러한 초모수들에 대한 기울기 기반 최적화를 가능하게 한다.
• 베이지안 밴딧에 특화된 정책 기반 강화 학습 추정기(예: 관측된 보상, 평균 보상, 베이지안 레그레트 등 보상 지표와 null, 오라클, 자기 기준선 등 기준선)를 사용한다.
• 배치 기반 정책 기반 강화 학습 상승법을 적용하고, Adam 최적화기를 사용하여 시뮬레이션된 밴딧 에피소드로부터 추정된 확률적 기울기를 이용해 메타-매개수를 갱신한다.
• 로그 밀도의 기울기가 메타-매개수에 대해 계산 가능한 조건을 요구함으로써 계산 가능성을 확보하며, 일반적으로 밀도가 비례 상수까지 알려져 있을 경우에 해당된다.

실험 결과

연구 질문

• RQ1 표준 설정에서 액션 분포가 비계산 가능하기 때문에, 정책 기반 강화 학습 방법이 톰슨 샘플링 정책 최적화에 효과적으로 적용될 수 있는가?
• RQ2 정책 기반 강화 학습 추정에서 다양한 보상 지표와 기준선이 학습된 톰슨 샘플링 정책의 수렴성과 성능에 미치는 영향은 어떠한가?
• RQ3 예를 들어 사전 분산이나 사후 형태와 같은 메타-매개수를 학습함으로써, 암수가 많거나 노이즈가 높은 환경에서 성능이 떨어지는 톰슨 샘플링의 성능 향상을 어느 정도 달성할 수 있는가?
• RQ4 샘플링 정책에 대한 직접적인 정책 탐색이 장기적 또는 극단적인 설정에서 톰슨 샘플링의 과도한 탐색 문제를 자동으로 수정할 수 있는가?
• RQ5 제안된 방법이 어려운 밴딧 환경에서 기존의 베이지안 알고리즘(예: Bayes-UCB, OGI)과 비교해 유사하거나 더 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 고암수 설정(K=20, T=20)에서, 단순한 톰슨 샘플링은 극심한 과도 탐색을 경험하여 레그레트가 28.802(s.e. 0.097)에 이르며, 이는 최적의 성능이 아니다.
• 정책 기반 강화 학습으로 최적화된 톰슨 샘플링은 평균 보상 지표와 오라클 기준선을 사용할 경우 레그레트 20.348(s.e. 0.126)를 기록하며, 단순한 톰슨 샘플링보다 유의미하게 뛰어난 성능을 보였다.
• 학습된 정책은 시간이 지남에 따라 탐색을 줄여 일부 암수에 집중하는 방식으로 풀 분포를 왜곡함으로써 효과적으로 탐색을 감소시켰으며, 이는 그림 4에서 시각화되어 있다. 초기에는 균일한 분포가 존재하나, 시간이 지나면서 특정 암수에 집중하는 경향을 보였다.
• 다양한 보상 지표와 기준선은 최종 성능에서 유사한 결과를 보였지만, 초기 학습 단계에서는 null 기준선이 오라클 기준선보다 성능이 뛰어나, 오라클 기준선이 엄밀히 달성 가능한 것은 아님을 시사한다.
• 이 방법은 사후 샘플링 분포의 형태를 재구성할 수 있는 메타-매개수를 성공적으로 학습하여, 고차원 또는 중복된 암수 공간에서 톰슨 샘플링이 과도하게 탐색하는 경향을 수정하였다.
• 시험 환경에서 최고 성능 알고리즘들(예: OGI, Bayes-UCB)과 유사한 성능을 달성함으로써, 베이지안 밴딧 문제에 대해 자동화된 정책 최적화의 가치를 입증하였다.