[논문 리뷰] Optimal Thompson Sampling strategies for support-aware CVaR bandits

Dorian Baudry, Romain Gautron외 2명|arXiv (Cornell University)|2020. 12. 10.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 7

한 줄 요약

이 논문은 보상이 유한한 조건부가치위험(CVaR) 밴딧 문제를 위한 새로운 톰슨 샘플링 알고리즘인 B-CVTS와 M-CVTS를 제안하며, CVaR 손실 최소화에서 渐近 최적성(비상수 최적성)을 달성한다. 저자들은 이전 연구를 이론적으로 확장하여 이러한 전략이 CVaR 손실의 渐近 하한선을 충족함을 증명하며, 특히 보상 지원 상한의 과대추정 상황에서 실제 농업 시뮬레이션과 합성 환경 모두에서 UCB 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper we study a multi-arm bandit problem in which the quality of each arm is measured by the Conditional Value at Risk (CVaR) at some level alpha of the reward distribution. While existing works in this setting mainly focus on Upper Confidence Bound algorithms, we introduce a new Thompson Sampling approach for CVaR bandits on bounded rewards that is flexible enough to solve a variety of problems grounded on physical resources. Building on a recent work by Riou & Honda (2020), we introduce B-CVTS for continuous bounded rewards and M-CVTS for multinomial distributions. On the theoretical side, we provide a non-trivial extension of their analysis that enables to theoretically bound their CVaR regret minimization performance. Strikingly, our results show that these strategies are the first to provably achieve asymptotic optimality in CVaR bandits, matching the corresponding asymptotic lower bounds for this setting. Further, we illustrate empirically the benefit of Thompson Sampling approaches both in a realistic environment simulating a use-case in agriculture and on various synthetic examples.

연구 동기 및 목표

• 보상이 유한한 조건부가치위험(CVaR) 밴딧 문제에 대해 渐近 최적의 톰슨 샘플링 전략이 부족한 문제를 해결하기 위해.
• 농업 의사결정과 같은 물리적 자원 기반 문제에 적합한 유연하고 위험 인식 기반 알고리즘을 개발하기 위해.
• 톰슨 샘플링의 CVaR 밴딧 설정에서의 CVaR 손실을 이론적으로 경계하여 이전 분석을 확장하기 위해.
• 실제 및 합성 환경에서 제안된 방법이 UCB 기반의 CVaR 밴딧 알고리즘보다 뛰어나다는 것을 경험적으로 검증하기 위해.
• 일반적인 실무 과제인 보상 지원 상한의 정확하지 않은 추정에 대한 강건성을 평가하기 위해.

제안 방법

• 연속적인 유한 보상에 대해 B-CVTS를 제안하며, CVaR의 사후 분포에서 샘플링하기 위해 베타-베르누이 켤레 사전 프레임워크를 사용한다.
• 다항분포 보상에 대해 M-CVTS를 제안하며, 이는 이산 지원에 대해 CVaR 기반 암 선택을 위한 톰슨 샘플링을 적응시킨다.
• Riou와 Honda(2020)의 분석을 비틀린 이론적 확장을 통해 CVaR 손실의 渐近 최적 경계를 유도한다.
• 위험 회피 의사결정을 모델링하기 위해 CVaR를 x의 상한값으로 정의하며, x에서 1/α 비율으로 스케일된 양의 편차 기대값을 빼는 방식을 사용한다.
• 집중 부등식과 사후 샘플링을 적용하여 CVaR 기준 하에서 탐색과 이용의 균형을 이룬다.
• 관측된 보상을 통합하여 암 별 CVaR 값의 사후 추정치를 향상시키는 베이지안 업데이트 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 보상이 유한한 조건부가치위험(CVaR) 밴딧 문제에 대해 톰슨 샘플링을 어떻게 조정하여 渐近 최적성을 달성할 수 있는가?
• RQ2 제안된 B-CVTS와 M-CVTS 전략의 성능은 UCB 기반의 CVaR 밴딧 알고리즘 대비 CVaR 손실 측면에서 어떻게 비교되는가?
• RQ3 실제 적용에서 보상 지원 상한의 과대추정에 대해 B-CVTS의 성능은 어느 정도 강건한가?
• RQ4 복잡하고 정규분포가 아닌 보상 분포를 가진 실제 환경에서도 제안된 방법은 강력한 성능을 유지하는가?
• RQ5 제안된 알고리즘의 이론적 손실 경계가 알려진 CVaR 밴딧의 渐近 하한선을 충족함을 증명할 수 있는가?

주요 결과

• B-CVTS와 M-CVTS는 CVaR 밴딧 문제에 대해 증명 가능하게 渐近 최적성을 달성한 최초의 톰슨 샘플링 전략으로, 이론적 하한선을 충족한다.
• 7암 DSSAT 농업 시뮬레이션에서, B-CVTS는 T=10,000일 때 α=5%에서 CVaR 손실 700 t/ha를 기록하였으며, U-UCB(5687 t/ha)와 CVaR-UCB(1891 t/ha)를 크게 앞서나갔다.
• 보상 지원 상한을 과대추정한 상황(30 t/ha 대 진실값 ~10 t/ha)에서도 B-CVTS는 강력한 성능을 유지하였으며, α=5%일 때 손실이 195 t/ha에 머물렀고, U-UCB와 CVaR-UCB는 각각 150%와 75% 증가한 손실을 보였다.
• α=80%일 경우, B-CVTS는 정확한 지원 설정에서 손실 293 t/ha, 과대추정 상황에서 284 t/ha를 기록하여 강건성을 입증하였다.
• 경험적 결과는 B-CVTS가 고차원 행동 공간(예: 7개의 심기 일자)에서 UCB 기반 방법보다 손실과 안정성 측면에서 뛰어나다는 것을 보여주었다.
• 본 연구는 톰슨 샘플링이 CVaR와 같은 일관된 위험 측정 기준을 가진 위험 회피 설정으로 성공적으로 확장될 수 있으며, 이론적 및 경험적 성능 모두 최적성을 달성할 수 있음을 입증하였다.