[논문 리뷰] Thompson Sampling for CVaR Bandits.

Dorian Baudry, Romain Gautron외 2명|arXiv (Cornell University)|2020. 12. 10.

Advanced Bandit Algorithms Research참고 문헌 1인용 수 4

한 줄 요약

이 논문은 유한한 보상 분포에 대한 {α}-NPTS와 다항분포에 대한 {α}-Multinomial-TS라는 조건부가치의 위험기반 밴딧(Conditional Value-at-Risk, CVaR) 밴딧 문제를 위한 최초의 톰슨 샘플링 알고리즘을 제안한다. CVaR의 새로운 하한을 도출하고, {α}-Multinomial-TS가 渐近적 최적성(asymptotic optimality)을 달성하며, 기존의 상한 신뢰도 기반(Upper Confidence Bound, UCB) 방법보다 경험적으로 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Risk awareness is an important feature to formulate a variety of real world problems. In this paper we study a multi-arm bandit problem in which the quality of each arm is measured by the Conditional Value at Risk (CVaR) at some level {\alpha} of the reward distribution. While existing works in this setting mainly focus on Upper Confidence Bound algorithms, we introduce the first Thompson Sampling approaches for CVaR bandits. Building on a recent work by Riou and Honda (2020), we propose {\alpha}-NPTS for bounded rewards and {\alpha}-Multinomial-TS for multinomial distributions. We provide a novel lower bound on the CVaR regret which extends the concept of asymptotic optimality to CVaR bandits and prove that {\alpha}-Multinomial-TS is the first algorithm to achieve this lower bound. Finally, we demonstrate empirically the benefit of Thompson Sampling approaches over their UCB counterparts.

연구 동기 및 목표

• 위험 감수성 있는 의사결정이 중요한 상황에서 CVaR 밴딧 문제에 대한 톰슨 샘플링 접근법이 부족한 문제를 해결하고자 한다.
• 새로운 위험도 하한을 도출함으로써 渐近적 최적성 개념을 CVaR 밴딧 문제로 확장하고자 한다.
• {α}-NPTS와 {α}-Multinomial-TS를 제안하여, CVaR 최적화에 특화된 최초의 톰슨 샘플링 알고리즘을 마련하고자 한다.
• 톰슨 샘플링이 CVaR 밴딧 환경에서 UCB 기반 방법보다 뛰어나게 성능을 발휘하는지를 경험적으로 검증하고자 한다.

제안 방법

• 최근 Riou와 Honda(2020)의 이론적 연구를 기반으로, 후행 분포를 사용하여 유한 보상 분포에 적합한 {α}-NPTS를 설계한다.
• 결과 확률에 대한 후행 분포를 모델링함으로써 다항분포 보상 분포에 적합한 {α}-Multinomial-TS를 개발한다.
• CVaR의 위험도 하한을 도출하여, 渐近적 최적성 개념을 위험 감수성 있는 밴딧 문제로 확장한다.
• 베이지안 업데이트와 후행 샘플링을 활용하여, CVaR 목표 하에 탐색과 이용의 균형을 이룬다.
• 수준 {α}에서 높은 CVaR를 갖는 암드를 우선시하는 위험 감수성 있는 선택 규칙을 도입한다.
• {α}-Multinomial-TS가 도출한 CVaR 위험도 하한을 달성함을 증명하여, 渐近적 최적성의 성립을 입증한다.

실험 결과

연구 질문

• RQ1 CVaR를 성능 지표로 삼는 다중 암드 밴딧 문제에 대해 톰슨 샘플링을 효과적으로 적용할 수 있는가?
• RQ2 CVaR 위험도의 이론적 하한은 무엇이며, 알고리즘이 이를 달성할 수 있는가?
• RQ3 CVaR 밴딧 문제에서 톰슨 샘플링의 성능은 UCB 기반 방법보다 어떻게 다를까?
• RQ4 {α}-Multinomial-TS는 다항분포 보상의 CVaR 밴딧 문제에서 渐近적 최적성인가?

주요 결과

• 논문은 CVaR 위험도에 대한 새로운 하한을 도출하여, 위험 감수성 있는 밴딧 문제에 渐近적 최적성의 개념을 확장한다.
• {α}-Multinomial-TS 알고리즘이 이 하한을 달성함을 증명하여, 다항분포 보상의 CVaR 밴딧 문제에 대해 최초로 渐近적 최적성 알고리즘임을 입증한다.
• 경험적 결과는 톰슨 샘플링 접근법이 기존 UCB 기반 방법보다 CVaR 위험도 측면에서 뛰어나다는 것을 보여준다.
• {α}-NPTS 알고리즘은 유한 보상의 CVaR 밴딧 문제에 대해 실용적이고 효과적인 해결책을 제공한다.
• 이론적 및 경험적 결과를 종합적으로 분석함으로써, 위험 감수성 있는 순차적 의사결정 환경에서 톰슨 샘플링이 UCB 대비 강력한 대안임을 입증한다.