[논문 리뷰] Thompson Sampling Algorithms for Mean-Variance Bandits

Qiuyu Zhu, Vincent Y. F. Tan|arXiv (Cornell University)|2020. 02. 01.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 14

한 줄 요약

이 논문은 가우시안 밴디트에 대한 MTS, VTS, MVTS 및 베르누이 밴디트에 대한 BMVTS라는 새로운 톰슨 샘플링 기반 알고리즘을 제안한다. 이는 위험 인식 의사결정을 가능하게 하며, 특정 영역에서 정보 이론적 한계와 일치하는 날카운트한 리그레트 한계를 제공한다. 시뮬레이션을 통해 기존의 LCB 기반 방법보다 모든 위험 수용 수준에서 뛰어난 성능을 보임을 입증한다.

ABSTRACT

The multi-armed bandit (MAB) problem is a classical learning task that exemplifies the exploration-exploitation tradeoff. However, standard formulations do not take into account {\em risk}. In online decision making systems, risk is a primary concern. In this regard, the mean-variance risk measure is one of the most common objective functions. Existing algorithms for mean-variance optimization in the context of MAB problems have unrealistic assumptions on the reward distributions. We develop Thompson Sampling-style algorithms for mean-variance MAB and provide comprehensive regret analyses for Gaussian and Bernoulli bandits with fewer assumptions. Our algorithms achieve the best known regret bounds for mean-variance MABs and also attain the information-theoretic bounds in some parameter regimes. Empirical simulations show that our algorithms significantly outperform existing LCB-based algorithms for all risk tolerances.

연구 동기 및 목표

• 위험 인식 평균-분산 다익음 밴디트에서 톰슨 샘플링 기반 알고리즘이 부족한 문제를 해결하기 위해.
• 이전 연구에서 요구하는 하위가우시안 보상 분포 가정보다 더 약한 조건 하에서도 작동하는 알고리즘을 개발하기 위해.
• 기존 결과를 일반화하거나 정보 이론적 하한과 일치하는 리그레트 한계를 달성하기 위해.
• 최신의 LCB 기반 알고리즘과 비교하여 다양한 위험 수용 수준에서 뛰어난 경험적 성능을 검증하기 위해.

제안 방법

• 가우시안 밴디트에 적합한 MTS, VTS, MVTS 알고리즘을 제안하며, 각각 다른 위험 및 분산 영역에 최적화되어 있다.
• 이진 결과에 대한 확장 가능성을 고려해, 베르누이 분포 보상에 특화된 톰슨 샘플링 변형인 BMVTS를 도입한다.
• 하위가우시안 가정 없이도 리그레트를 분석하기 위해 새로운 반집중 불등식(보조정리 3 및 4)을 활용한다.
• 마크owitz 평균-분산 기준을 통해 평균과 분산을 조합한 위험 회피 목표 함수를 사용한다.
• 집중 불등식과 尾확률 분석을 활용해 유한 시간 리그레트 한계를 유도한다.
• 이론적 분석을 통해 특정 매개변수 영역에서 리그레트가 정보 이론적 하한과 일치함을 입증한다.

실험 결과

연구 질문

• RQ1 일반적인 보상 분포 하에서 톰슨 샘플링이 평균-분산 다익음 밴디트에 효과적으로 적용될 수 있는가?
• RQ2 제안된 알고리즘이 정보 이론적 하한과 일치하거나 근접하는 리그레트 한계를 달성하는가?
• RQ3 모든 수준의 위험 수용 수준에서 기존의 LCB 기반 방법보다 성능이 뛰어나게 되는가?
• RQ4 비하위가우시안 설정에서 리그레트 한계는 시간과 최적 및 비최적 암의 갭에 따라 어떻게 스케일링되는가?
• RQ5 보상 분포가 가우시안 또는 베르누이일 경우, 평균-분산 밴디트에서 톰슨 샘플링에 대한 이론적 보장은 무엇인가?

주요 결과

• 제안된 MVTS 알고리즘은 평균-분산 MAB의 최고 수준의 리그레트 한계를 달성하며, 특정 매개변수 영역에서 정보 이론적 하한과 일치한다.
• 가우시안 밴디트의 경우, 이전 연구에서 요구하는 하위가우시안 가정 없이도 Agrawal & Goyal (2012)의 결과를 일반화한 리그레트 한계를 달성한다.
• 베르누이 밴디트를 위한 BMVTS 알고리즘은 주요 항이 O(log n)으로 스케일링되는 유한 시간 리그레트 한계를 확보하며, 1/ε에 대한 다항항이 추가로 포함된다.
• 경험적 결과에 따르면, MVTS는 테스트된 모든 위험 수용 수준(ρ)에서 LCB 기반 알고리즘보다 일관되게 뛰어난 성능을 보인다.
• 이론적 분석을 통해 리그레트는 최적 암의 평균과 분산 간 격차 및 위험 매개변수 ρ에 의존하며, 새로운 반집중 불등식을 통해 더 날카운트한 한계가 도출됨을 밝혀냈다.
• BMVTS의 유한 시간 리그레트 한계에는 O(1/ε²) 및 O(1/ε)로 스케일링되는 항이 포함되어 있으며, ε = (log n)^(-1/4)로 선택함으로써 점근적 리그레트가 O(log n)이 된다.