[논문 리뷰] X-Armed Bandits: Optimizing Quantiles, CVaR and Other Risks

Léonard Torossian, Aurélien Garivier외 1명|arXiv (Cornell University)|2019. 04. 17.

Risk and Portfolio Optimization참고 문헌 22인용 수 10

한 줄 요약

이 논문은 확률적 블랙박스 환경에서 분位수와 CVaR와 같은 위험민감 함수형을 최적화하기 위한 새로운 X-armed 밴디트 알고리즘인 StoROO를 소개한다. Kullback-Leibler 발산과 Chernoff 유형 부등식에 기반한 날카운 감도 신뢰구간을 활용함으로써, Hoeffding 또는 Bernstein 부등식을 사용하는 기준 방법에 비해 특히 저확률 꼬리 영역에서 훨씬 더 빠른 수렴 속도와 낮은 단순 회귀를 달성한다.

ABSTRACT

We propose and analyze StoROO, an algorithm for risk optimization on stochastic black-box functions derived from StoOO. Motivated by risk-averse decision making fields like agriculture, medicine, biology or finance, we do not focus on the mean payoff but on generic functionals of the return distribution. We provide a generic regret analysis of StoROO and illustrate its applicability with two examples: the optimization of quantiles and CVaR. Inspired by the bandit literature and black-box mean optimizers, StoROO relies on the possibility to construct confidence intervals for the targeted functional based on random-size samples. We detail their construction in the case of quantiles, providing tight bounds based on Kullback-Leibler divergence. We finally present numerical experiments that show a dramatic impact of tight bounds for the optimization of quantiles and CVaR.

연구 동기 및 목표

• 평균 수익이 아닌 분위수와 CVaR와 같은 위험민감 함수형을 최적화하는 위험회피적 의사결정 문제를 다루기 위해.
• StoOO 프레임워크를 일반적인 수상 함수형(예: 기대값이 아닌)을 최적화하기 위해 연속 입력 공간으로 확장하기 위해.
• 전통적인 부등식보다 더 날카운 편차 한계를 사용하여 분위수와 CVaR에 대한 고확률 신뢰구간을 개발하기 위해.
• 더 날카운 신뢰구간이 단순 회귀 측면에서 최적화 성능을 어떻게 크게 향상시키는지 경험적으로 입증하기 위해.
• 모든 위험 기능에 적용 가능한 일반적 회귀 분석을 제공하며, 특히 분위수와 CVaR에 대해 구체적인 적용을 제시하기 위해.

제안 방법

• 목표 기능(예: 분위수, CVaR)에 대한 상한 신뢰구간(UCB)을 평균이 아닌 위험 기능에 대해 구성함으로써, StoOO의 낙관적 최적화 프레임워크를 위험 기능에 적응시킨다.
• Kullback-Leibler 발산과 Chernoff 한계에서 유도된 신뢰구간을 사용하여 분위수 추정의 UCB를 강화함으로써, Hoeffding 또는 Bernstein 부등식에 비해 정확도를 향상시킨다.
• 일반적인 유니언 바운드 대신 벗기기 추론(_peeling argument_)을 사용하여, 특히 StoROO_kl-p 변형에서 신뢰구간의 과대평가를 줄인다.
• Brown(2007)과 Thomas & Learned-Miller(2019)의 편차 부등식을 응용하여 CVaR 최적화를 위한 더 날카운 신뢰구간을 유도한다.
• 입력 공간 [0,1]^D의 계층적 분할을 통해, 높은 UCB를 가진 영역을 낙관적으로 선택함으로써 최적의 점을 효율적으로 탐색한다.
• 보상 분포의 지지 집합에 대한 오ракูล 한계를 사용하여 추가로 신뢰구간을 강화하고 수렴 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 연속 입력 공간에서 분위수 및 CVaR와 같은 위험 기능을 최적화할 수 있는 일반적인 X-armed 밴디트 알고리즘을 설계할 수 있는가?
• RQ2 Hoeffding, Bernstein, Chernoff 등 다양한 신뢰구간 구성 방식이 분위수 및 CVaR 최적화에서 단순 회귀에 어떤 영향을 미치는가?
• RQ3 Kullback-Leibler 발산과 Chernoff 부등식에 기반한 더 날카운 신뢰구간은 전통적 부등식에 비해 최적화 성능을 얼마나 향상시키는가?
• RQ4 신뢰구간 구성에 벗기기 추론을 사용할 경우 수렴 속도에 측정 가능한 향상이 발생하는가?
• RQ5 보상 지지 집합에 대한 오라클 한계가 위험 최적화 밴디트 알고리즘의 성능에 어떤 영향을 미치는가?

주요 결과

• 분위수 최적화에서 τ=0.9일 때, StoROO_kl와 StoROO_kl-p는 T=5,000일 때 단순 회귀를 10^-4 수준으로 줄였지만, StoROO_H는 동일한 정확도를 확보하기 위해 T=15,000까지 필요했다.
• τ=0.1일 때, StoROO_H는 StoROO_kl 및 StoROO_kl-p의 성능을 따라잡지 못했으며, 유사한 회귀 수준을 달성하기 위해 훨씬 더 큰 예산이 필요했다.
• CVaR 최적화에서는 Thomas & Learned-Miller(2019)의 더 날카운 한계를 사용한 변형이 오라클 한계 유무에 관계없이 항상 다른 변형보다 뛰어난 성능을 보였다.
• 보상 분포의 최소 및 최대값에 대한 오라클 한계를 사용함으로써 수렴 속도가 가속화되었으며, 특히 날카운 신뢰구간과 조합될 경우 두드러졌다.
• StoROO_kl-p에서의 벗기기 추론은 Φ₁에서는 측정 가능한 그러나 미미한 향상을 가져왔지만, Φ₂에서는 유의미한 영향을 미치지 못했다.
• 수치 실험을 통해 더 날카운 신뢰구간이 단순 회귀를 극적으로 감소시킴을 확인했으며, 특히 분포의 꼬리 영역(예: τ=0.1 또는 0.9)에서 두드러졌다.