[논문 리뷰] Index-Based Policy for Risk-Averse Multi-Armed Bandit

Jianyu Xu, William B. Haskell외 1명|arXiv (Cornell University)|2018. 09. 14.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 3

한 줄 요약

이 논문은 조건부가치손실(CVaR), 평균편차(MD), 및 단절위험을 포함한 일관된 위험측도를 사용하여 위험중립적인 다수의 레버리지 밴딧(MAB)에 대한 인덱스 기반 정책을 제안한다. 각 위험측도에 대해 의사결정의 위험감수성에 최적화하기 위해 의사결정의 장기적 성능을 보장하는 이론적 근거를 제공하는 하위선형 수렴 속도를 확립한다.

ABSTRACT

The multi-armed bandit (MAB) is a classical online optimization model for the trade-off between exploration and exploitation. The traditional MAB is concerned with finding the arm that minimizes the mean cost. However, minimizing the mean does not take the risk of the problem into account. We now want to accommodate risk-averse decision makers. In this work, we introduce a coherent risk measure as the criterion to form a risk-averse MAB. In particular, we derive an index-based online sampling framework for the risk-averse MAB. We develop this framework in detail for three specific risk measures, i.e. the conditional value-at-risk, the mean-deviation and the shortfall risk measures. Under each risk measure, the convergence rate for the upper bound on the pseudo regret, defined as the difference between the expectation of the empirical risk based on the observation sequence and the true risk of the optimal arm, is established.

연구 동기 및 목표

• 비용 분포의 분산과 위험을 忽시하는 고전적 위험중립적 다수의 레버리지 밴딧의 한계를 해결한다.
• 일반적인 일관된 위험측도를 최적화 기준으로 사용하여 위험중립적 MAB 프레임워크를 공식화한다.
• 위험측도 하에서 최적의 암호의 실제 위험과 경험적 위험의 차이로 정의된 새로운 의사결정 오차 개념을 정의한다.
• 고전적 MAB 원칙을 위험중립적 설정에 적응시키는 인덱스 기반 정책을 개발한다.
• CVaR, MD 및 단절위험과 같은 세 가지 특정 위험측도 하에서 의사결정 오차의 이론적 수렴 속도를 확립한다.

제안 방법

• 다수의 레버리지 밴딧 설정에서 최적의 암호를 선택하기 위한 성능 기준으로 일반적인 일관된 위험측도를 도입한다.
• 의사결정 오차를 경험적 위험(관측된 샘플 기반)과 최적 암호의 진짜 위험의 차이의 기대값으로 정의한다.
• 각 암호에 경험적 위험 추정치와 신뢰구간 항을 조합한 인덱스를 할당하는 인덱스 기반 정책을 구축한다.
• 집중부등식(예: 헤프딩의 부등식)을 사용하여 경험적 위험과 평균편차의 추정 오차를 제한한다.
• 손실 함수의 리프시츠 연속성과 M-추정이론을 이용하여 경험적 위험 추정치가 진짜 위험 값으로 거의 확실히 수렴함을 증명한다.
• 각 위험측도 하에서 경험적 인덱스가 진짜 값에서 벗어나지 않는 정도를 분석하여 의사결정 오차의 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 고전적 다수의 레버리지 밴딧 프레임워크는 위험을 우선시하는 의사결정자가 평균 비용 최소화보다 위험 최소화를 우선시하는 경우 어떻게 확장될 수 있는가?
• RQ2 합성의 오차가 더 이상 성립하지 않는 위험중립적 MAB 설정에서 이론적으로 타당한 의사결정 오차의 정의는 무엇인가?
• RQ3 CVaR, 평균편차 및 단절위험과 같은 일반적인 일관된 위험측도에 대해 인덱스 기반 정책을 구성하고 수렴성을 증명할 수 있는가?
• RQ4 제안된 정책 하에서 이 세 가지 특정 위험측도에 대해 의사결정 오차의 수렴 속도는 무엇인가?
• RQ5 제안된 정책의 이론적 보장은 기존의 위험중립적 MAB 접근법과 비교해 볼 때 오차 경계와 적용 가능성 측면에서 어떻게 다른가?

주요 결과

• 논문은 조건부가치손실(CVaR) 측도 하에서 위험중립적 MAB에 대해 의사결정 오차의 하위선형 상한을 확립한다.
• 평균편차(MD) 위험측도 하에서 제안된 정책은 의사결정 오차의 하위선형 수렴 속도를 달성하여 이론적 타당성을 확인한다.
• 단절위험 측도 역시 의사결정 오차의 하위선형 수렴 속도를 제공하여 제안된 프레임워크가 다양한 위험측도에 대해 강건함을 입증한다.
• 이론적 분석은 제안된 인덱스 정책 하에서 경험적 위험 추정치가 거의 확실히 진짜 위험 값으로 수렴함을 확인한다.
• 수렴 속도는 집중부등식과 M-추정이론을 사용하여 유도되어 대용량 표본 환경에서 신뢰할 수 있는 성능을 보장한다.
• 프레임워크는 위험감수성 추정치와 신뢰구간을 통합한 인덱스 재정의를 통해 고전적 인덱스 정책을 위험중립적 설정으로 일반화한다.