[논문 리뷰] Risk-Constrained Thompson Sampling for CVaR Bandits

Joel Q. L. Chang, Qiuyu Zhu외 1명|arXiv (Cornell University)|2020. 11. 16.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 5

한 줄 요약

이 논문은 조건부가치의위험(CVaR) 제약 조건 하에서 다기능 밴딧 문제를 위한 CVaR-TS라는 톰슨 샘플링 기반 알고리즘을 제안한다. 이는 위험 인식 탐색-이득 균형을 가능하게 하며, 특정 조건에서 이론적 하한선에 도달하는 인스턴스에 의존하는 리그레트 한계를 달성한다. 시뮬레이션 결과, LCB/UCB 기반 방법들보다 뛰어난 성능을 보이며, 특히 위험 제약 조건 하에서 타당/비타당한 암을 식별하는 데에 유리하다.

ABSTRACT

The multi-armed bandit (MAB) problem is a ubiquitous decision-making problem that exemplifies the exploration-exploitation tradeoff. Standard formulations exclude risk in decision making. Risk notably complicates the basic reward-maximising objective, in part because there is no universally agreed definition of it. In this paper, we consider a popular risk measure in quantitative finance known as the Conditional Value at Risk (CVaR). We explore the performance of a Thompson Sampling-based algorithm CVaR-TS under this risk measure. We provide comprehensive comparisons between our regret bounds with state-of-the-art L/UCB-based algorithms in comparable settings and demonstrate their clear improvement in performance. We also include numerical simulations to empirically verify that CVaR-TS outperforms other L/UCB-based algorithms.

연구 동기 및 목표

• 표준 다기능 밴딧 설정에서의 위험 인식 부족 문제를 해결하기 위해 CVaR를 위험 측정 기준으로 통합한다.
• 사용자가 정의한 위험 수용 수준 기준으로 암을 타당(≤ τ) 또는 비타당(> τ)으로 분류하는 톰슨 샘플링 기반 알고리즘(CVaR-TS)을 설계한다.
• CVaR-TS의 리그레트 성능을 이론적으로 분석하고, 위험 제약이 있는 밴딧 설정에서 최첨단 LCB/UCB 기반 알고리즘과의 비교를 통해 경험적으로 검증한다.
• CVaR-TS가 특정 매개변수 영역에서 인스턴스에 의존하는 리그레트 한계가 이론적 하한선과 일치함을 입증한다.

제안 방법

• CVaR-TS는 암 보상의 후행 분포에서 샘플링을 수행하며, 보상 분포는 정규분포를 가정한다.
• 알고리즘은 사용자가 정의한 위험 수용 수준 τ 기준으로 암을 타당(CVaR ≤ τ) 또는 비타당(CVaR > τ)으로 분류한다.
• 세 가지 리그레트 프레임워크를 사용한다: 타당하지만 최적의 아닐 암의 리그레트, 비타당한 암의 리그레트, 총 리그레트로, Kagrecha 등(2020a)과 일치한다.
• 이론적 분석은 정규분포 간의 KL 발산을 활용하며, Kagrecha 등(2020a)이 유도한 인스턴스에 의존하는 하한선을 적용하여 최적성 평가를 수행한다.
• 비최적 암의 예상 추출 횟수에 대한 상한선을 유도하고, 특정 영역에서 리그레트 성장률이 인스턴스에 의존하는 하한선과 일치함을 보여준다.
• 수치 시뮬레이션을 통해 CVaR-TS를 RC-LCB 및 MaRaB와 비교하며, 다양한 리그레트 지표와 위험 분류 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 CVaR 기반 위험 제약 조건이 있는 다기능 밴딧 문제에 대해 톰슨 샘플링을 효과적으로 적용할 수 있는가?
• RQ2 CVaR-TS의 리그레트 성능은 위험 제약이 있는 밴딧 문제에서 LCB/UCB 기반 알고리즘과 비교해 어떻게 되는가?
• RQ3 CVaR-TS는 정규분포 기반 CVaR 밴딧 설정에서 이론적 하한선과 일치하는 인스턴스에 의존하는 리그레트 한계를 달성하는가?
• RQ4 CVaR-TS는 다른 알고리즘과 비교해 비타당한 암을 얼마나 잘 식별하는가? 특히 거짓 양성과 거짓 음성의 비율 측면에서 어떻게 되는가?

주요 결과

• CVaR-TS는 Kagrecha 등(2020a)이 유도한 이론적 하한선과 일치하는 인스턴스에 의존하는 리그레트 한계를 특정 매개변수 영역에서 달성하여 渐近 최적성(비례 최적성)을 입증한다.
• 비최적 암의 예상 추출 횟수는 liminf_{n→∞} E[T_{i,n}] / log n ≥ 1 / η(i,α)로 유계이며, 여기서 η(i,α)는 정규분포 간의 KL 발산을 통해 정의된다.
• 비타당한 암의 경우, 리그레트 한계는 ∑_{i∈K_τ^c} ξ²σ_i²D_{α,ξ}^i Δ_τ(i)로 표현되며, 이는 위험 수준 기준과 분포 매개변수에 의존한다.
• 타당하지만 최적의 아닐 암의 경우, 리그레트 한계는 ∑_{i∈K_τ∖K*} 2 / Δ(i)로 표현되며, 이는 특정 조건 하에서 평균-분산 밴딧 문제의 인스턴스에 의존하는 하한선과 일치한다.
• 수치 시뮬레이션 결과, CVaR-TS는 총 리그레트와 비타당한 암을 정확히 비타당으로 식별하는 데서 RC-LCB 및 MaRaB보다 뛰어난 성능을 보였다.
• 알고리즘은 위험 제약을 위반하는 암을 식별하는 데 있어 강건성을 보이며, 기준 방법 대비 고위험 암의 추출 횟수를 줄였다.