[논문 리뷰] Optimal Best-Arm Identification Methods for Tail-Risk Measures

Shubhada Agrawal, Wouter M. Koolen외 1명|arXiv (Cornell University)|2020. 08. 17.

Advanced Bandit Algorithms Research참고 문헌 55인용 수 7

한 줄 요약

이 논문은 체중이 무거운 분포를 가진 다각대 밴드잇 문제에서 꼬리 위험 측도—특히 CVaR, VaR, 평균-CVaR—하에 최적의 암을 식별하기 위한 δ-정확하고 渐近적으로 최적의 알고리즘을 제안한다. 이 방법은 비점근적 경험우도 농도 경계를 사용하며, 암 분포에 대한 (1+ϵ)-모멘트 제약 조건 하에서도 정보이론적 하한선과 일치하는 샘플 복잡도를 달성하기 위해 확률측도 위에서의 비볼록 최적화 문제를 해결한다.

ABSTRACT

Conditional value-at-risk (CVaR) and value-at-risk (VaR) are popular tail-risk measures in finance and insurance industries as well as in highly reliable, safety-critical uncertain environments where often the underlying probability distributions are heavy-tailed. We use the multi-armed bandit best-arm identification framework and consider the problem of identifying the arm from amongst finitely many that has the smallest CVaR, VaR, or weighted sum of CVaR and mean. The latter captures the risk-return trade-off common in finance. Our main contribution is an optimal $δ$-correct algorithm that acts on general arms, including heavy-tailed distributions, and matches the lower bound on the expected number of samples needed, asymptotically (as $δ$ approaches $0$). The algorithm requires solving a non-convex optimization problem in the space of probability measures, that requires delicate analysis. En-route, we develop new non-asymptotic empirical likelihood-based concentration inequalities for tail-risk measures which are tighter than those for popular truncation-based empirical estimators.

연구 동기 및 목표

• 다각대 밴드잇 문제에서 CVaR 및 VaR와 같은 꼬리 위험 측도 하에 최적의 암을 식별하기 위한 체계적인 방법의 부족을 해결한다.
• 고정신뢰도 δ-정확 설정 하에서 위험감수성 목표(예: CVaR, VaR, 평균-CVaR)에 대한 최적 암 식별 문제를 수립한다.
• CVaR, VaR 목표 하에서 최적의 암을 식별하는 데 있어 기대 샘플 복잡도의 정보이론적 하한선과 일치하는 이론적으로 최적의 알고리즘을 제공한다.
• 암 분포에 대한 (1+ϵ)-모멘트 제약 조건을 도입하여 CVaR 최적 암 식별 문제의 학습 가능성을 확보한다.
• 표준 절단 기반 방법보다 더 날카운 비점근적 농도 불등식을 경험우도 기반으로 개발하여 꼬리 위험 추정기의 농도를 향상시킨다.

제안 방법

• CVaR, VaR, 또는 평균-CVaR 중 최소인 암을 식별하기 위해 암들에서 적응적으로 샘플을 추출하는 δ-정확 알고리즘을 제안하며, 이는 확률 1−δ 이상의 정확도를 보장한다.
• 꼬리 위험 측도의 추정 오차를 제한하기 위해 경험우도 기반의 농도 불등식을 사용하여 절단 기반 추정기보다 더 날카운 경계를 달성한다.
• 최적의 샘플링 전략을 확률측도 공간 위에서의 비볼록 최적화 문제로 수식화하며, 이를 해결하기 위해 세밀한 분석이 필요하다.
• 충분한 신뢰도에 도달했을 때 알고리즘을 종료하기 위해 일반화된 우도비 검정(GCRT) 기반의 정지 기준을 도입한다.
• 이중분할 검색과 단일 단계의 안장점 해법기를 사용하여 최적의 샘플링 분포를 근사하는 계산 효율적인 변형을 구현한다.
• C-트래킹과 √n-강제 탐색을 적용하여 탐색 균형을 유지하고 실무에서 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 CVaR 및 VaR 목표 하에서 샘플 복잡도의 渐近적 하한선과 일치하는 δ-정확 알고리즘을 설계할 수 있는가?
• RQ2 어떤 분포 가족 조건이 CVaR 최적 암 식별 문제의 학습 가능성을 보장하는가?
• RQ3 비점근적 농도 불등식이 꼬리 위험 측도에 대해 경험우도 기반인지 절단 기반인지에 따라 얼마나 날카운지, 샘플 효율성은 어떻게 비교되는가?
• RQ4 샘플 복잡도가 (1+ϵ)-모멘트 제약 조건 B와 꼬리 지수 ϵ에 어떻게 의존하는가?
• RQ5 유한한 δ 값에서 이론적 渐近적 최적성의 성질이 실질적 시뮬레이션에서 관찰될 수 있는가?

주요 결과

• 제안된 알고리즘은 CVaR 및 VaR 목표 하에서 δ-정확한 최적 암 식별에 있어 샘플 복잡도에서 정보이론적 하한선과 일치하는 渐近적 최적성을 달성한다.
• ϵ < 1일 경우 샘플 복잡도는 B^{1/ϵ} 비례하며, 이는 B에 대해 볼록이고 더 강한 모멘트 제약 조건일수록 급격히 증가한다; ϵ > 1일 경우 선형으로 증가한다.
• 실험 결과는 평균 정지 시간이 조건이 중간일지라도 이론적 하한선과 매우 유사하게 나타나, 실무에서의 渐近적 최적성의 타당성을 입증한다.
• 알고리즘 성능은 특히 ϵ < 1일 경우 모멘트 제약 조건 B의 정확한 추정에 민감하며, 이 경우 샘플 복잡도는 B에 따라 급격히 증가한다.
• 꼬리 위험 측도에 대한 비점근적 경험우도 농도 불등식은 절단 기반 방법보다 더 날카롭게, 더 효율적인 샘플링을 가능하게 한다.
• 특성 시간 1/Ṽ(µ)에 대한 설명 가능한 샌드위치 경계는 ϵ < 1일 경우 샘플 복잡도가 B^{1/ϵ} 비례하고, ϵ > 1일 경우 선형으로 증가함을 확인하며, 곱계수로 2^{1/ϵ}가 존재한다.