[논문 리뷰] Risk-Sensitive and Robust Decision-Making: a CVaR Optimization Approach

Yinlam Chow, Aviv Tamar외 2명|arXiv (Cornell University)|2015. 06. 06.

Risk and Portfolio Optimization참고 문헌 25인용 수 101

한 줄 요약

이 논문은 한정된 오차 예산 내에서 최악의 경우 모델 변동에 대한 기대 비용을 최소화하는 것으로 해석함으로써, CVaR를 사용한 최적화 프레임워크를 제안하여 위험 감수성과 강건한 의사결정을 통합한다. 유한 시간 오차 한계와 증명된 수렴성을 갖는 근사가치반복 알고리즘을 도입하여 수천 개의 상태를 가진 비트리비얼한 MDP에서 전역 최적 정책 계산을 가능하게 한다.

ABSTRACT

In this paper we address the problem of decision making within a Markov decision process (MDP) framework where risk and modeling errors are taken into account. Our approach is to minimize a risk-sensitive conditional-value-at-risk (CVaR) objective, as opposed to a standard risk-neutral expectation. We refer to such problem as CVaR MDP. Our first contribution is to show that a CVaR objective, besides capturing risk sensitivity, has an alternative interpretation as expected cost under worst-case modeling errors, for a given error budget. This result, which is of independent interest, motivates CVaR MDPs as a unifying framework for risk-sensitive and robust decision making. Our second contribution is to present an approximate value-iteration algorithm for CVaR MDPs and analyze its convergence rate. To our knowledge, this is the first solution algorithm for CVaR MDPs that enjoys error guarantees. Finally, we present results from numerical experiments that corroborate our theoretical findings and show the practicality of our approach.

연구 동기 및 목표

• CVaR 최소화가 주어진 오차 예산 내에서 전이 확률의 최악의 경우 변동에 대한 기대 비용과 동치임을 보여줌으로써, MDP에서 위험 감수성과 강건한 의사결정을 통합한다.
• 유한 시간 오차 보장을 제공하는 계산적으로 실현 가능한 알고리즘을 개발하여 CVaR MDP를 해결한다.
• 이전의 CVaR MDP 방법에서의 연속적인 확장된 상태 공간 문제를 보간 기반 근사가치반복을 통해 해결한다.
• 수천 개의 상태를 가진 대규모 격자 세계 계획 문제에서 본 방법의 실용성과 확장성을 입증한다.
• 의미-CVaR 목표로의 프레임워크 확장을 위해 벨만 재귀식을 제안하고 수렴 보장을 제공한다.

제안 방법

• 위험 측도의 신뢰 수준을 나타내는 연속적인 보조 변수를 사용한 상태 확장을 통해 CVaR MDP를 수립한다.
• 유한한 오차 예산 내에서 전이 확률의 최악의 경우 변동을 포괄하는 위험 봉쇄를 기반으로 한 CVaR MDP용 벨만 방정식을 유도한다.
• 확장된 상태 공간에서 선형 보간을 통합하여 연속 변수를 다루는 근사가치반복 알고리즘을 제안한다.
• 명시적인 오차 한계를 갖는 수축 스타일 수렴 분석을 수립하여, 유한 시간 내에 전역 최적 정책으로 수렴함을 증명한다.
• 두 차원 위험 봉쇄와 복합 위험 연산자를 도입하여 의미-CVaR 목표로의 프레임워크 확장을 수행한다.
• 여러 개의 CVaR 신뢰 수준을 결합할 수 있는 선형 연산자 Sλ를 사용하여 평균과 꼬리 위험을 동시에 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 MDP에서의 CVaR 최소화는 최악의 경우 모델 변동에 대한 강건 최적화로 해석될 수 있는가?
• RQ2 연속적인 상태 확장을 고려할 때, 유한 시간 오차 한계가 보장되는 CVaR MDP용 가치반복 알고리즘을 설계할 수 있는가?
• RQ3 보간 기반 알고리즘이 이전 방법에 비해 계산 복잡도와 수렴 속도 측면에서 어떻게 비교되는가?
• RQ4 의미-CVaR와 같은 다중 목표 위험 측도로 프레임워크를 확장할 수 있으며, 명시적인 수렴 보장이 가능한가?
• RQ5 수천 개의 상태를 가진 대규모 계획 문제에서 알고리즘의 경험적 성능은 어떠한가?

주요 결과

• 오차 예산이 주어진 한계 내에서 전이 확률의 변동이 있을 경우, MDP에서 할인 비용의 CVaR는 최악의 경우 전이 확률 변동에 대한 기대 비용과 수학적으로 동치이다.
• 제안된 근사가치반복 알고리즘은 유한 시간 오차 한계 $ \frac{\gamma^n}{1-\gamma}(C_{\text{max}} + \|Z\|_\infty) $ 를 갖는다. 여기서 $ \gamma $ 는 할인 요소이고 $ Z $ 는 초기 비용 랜덤 변수이다.
• 이전 방법이 점근적으로 수렴하거나 비凸 프로그래밍을 풀 필요가 있는 데 반해, 이 알고리즘은 명시적인 오차 보장을 갖는다.
• 수천 개의 상태를 가진 격자 세계에서의 수치 실험은 알고리즘의 실용성과 확장성을 확인하며, 전역 최적 정책 계산 능력을 입증한다.
• 의미-CVaR 목표로의 확장은 복합 위험 봉쇄를 갖는 새로운 벨만 재귀식을 통해 지원되며, 고정점 해가 유일하고 최적임을 증명한다.
• 알고리즘은 모든 CVaR 신뢰 수준과 초기 상태를 동시에 최적 정책을 계산하여, 각 신뢰 수준별로 별도로 계산하는 것에 비해 효율성을 크게 향상시킨다.