[논문 리뷰] Algorithms for CVaR Optimization in MDPs

Yinlam Chow, Mohammad Ghavamzadeh|arXiv (Cornell University)|2014. 06. 12.

Risk and Portfolio Optimization참고 문헌 30인용 수 67

한 줄 요약

이 논문은 마르코프 결정 과정(MDPs)에서 평균-CAVar 최적화를 위한 정책 그래เดียน트 및 액터-크리틱 알고리즘을 제안하며, 위험 감수성 목적 함수를 위한 새로운 그래디언트 공식을 유도한다. 이는 국소적으로 최적의 정책으로 수렴함을 보이며, 비트레이드오프 문제에서 효과성을 입증한다. 또한 업데이트를 점진적으로 또는 궤적 기반으로 추정할 수 있으며, 엄밀한 이론적 보장을 제공한다 — 기존 연구를 확장하여 수렴 증명과 이산 및 연속 손실 분포 모두에 대한 보다 넓은 적용 가능성을 제공한다.

ABSTRACT

In many sequential decision-making problems we may want to manage risk by minimizing some measure of variability in costs in addition to minimizing a standard criterion. Conditional value-at-risk (CVaR) is a relatively new risk measure that addresses some of the shortcomings of the well-known variance-related risk measures, and because of its computational efficiencies has gained popularity in finance and operations research. In this paper, we consider the mean-CVaR optimization problem in MDPs. We first derive a formula for computing the gradient of this risk-sensitive objective function. We then devise policy gradient and actor-critic algorithms that each uses a specific method to estimate this gradient and updates the policy parameters in the descent direction. We establish the convergence of our algorithms to locally risk-sensitive optimal policies. Finally, we demonstrate the usefulness of our algorithms in an optimal stopping problem.

연구 동기 및 목표

• MDPs에서 평균-CAVar 목적 함수를 최적화하여 기대 비용과 꼬리 위험을 균형 잡는 위험 감수성 순차적 결정 문제를 다루는 것.
• 정책 파라미터 업데이트를 위한 평균-CAVar 목적 함수의 닫힌 형태 그래디언트를 유도하는 것.
• 점진적 또는 궤적 기반 그래디언트 추정을 사용할 수 있는 정책 그래디언트 및 액터-크리틱 알고리즘을 개발하는 것.
• 제안된 알고리즘이 국소적으로 위험 감수성 최적 정책으로 점점 수렴하는 것을 확립하는 것.
• 비트레이드오프 문제와 같은 비트레이드오프 문제에서 알고리즘의 실용적 유용성을 입증하는 것.

제안 방법

• 정책의 가치 함수와 이점 함수를 사용하여 MDP에서 평균-CAVar 목적 함수의 그래디언트를 유도함으로써, 정책 파라미터 업데이트를 가능하게 한다.
• 점유 측도와 기대 수익 수식을 사용하여 그래디언트를 상태-행동 방문 빈도의 관점에서 표현한다.
• 정책 그래디언트 및 액터-크리틱 프레임워크에서 사용 가능한 점진적 및 궤적 기반 그래디언트 추정기 두 가지를 제안한다.
• 일반적인 미분방정식(ODE) 접근법을 사용하여 알고리즘의 점근적 수렴성을 증명한다.
• 함수 근사(예: 기저 함수를 사용한 선형 함수 근사)를 사용하여 가치 함수 근사에 대한 투영된 방정식 수식을 도입한다.
• 이점 함수 분해을 활용하여 그래디언트를 정책 로그 미분과 행동가치 함수의 관점에서 표현한다.

실험 결과

연구 질문

• RQ1 MDPs에서 평균-CAVar 목적 함수의 그래디언트는 정책 최적화를 위해 분석적으로 어떻게 도출될 수 있는가?
• RQ2 수렴 보장을 갖는 정책 그래디언트 및 액터-크리틱 알고리즘을 설계할 수 있는가?
• RQ3 점진적 및 궤적 기반 그래디언트 추정 방법은 성능 및 분산 감소 측면에서 어떻게 비교되는가?
• RQ4 스토케스틱 근사 하에서 제안된 알고리즘의 이론적 수렴 행동은 어떠한가?
• RQ5 제안된 방법은 비트레이드오프와 같은 실용적 위험 감수성 제어 과제에서 어떻게 성능을 발휘하는가?

주요 결과

• 논문은 평균-CAVar 목적 함수를 위한 닫힌 형태의 그래디언트 표현을 도출하여, 정책 그래디언트 방법을 통한 정책 파라미터 업데이트를 가능하게 한다.
• 제안된 정책 그래디언트 및 액터-크리틱 알고리즘은 ODE 접근법을 통해 국소적으로 위험 감수성 최적 정책으로 점점 수렴한다.
• 알고리즘은 이산 및 연속 손실 분포 모두를 지원하여, 이전 연구가 연속 경우에 국한되어 있던 범위를 확장한다.
• 액터-크리틱 변종은 표준 정책 그래디언트보다 분산을 줄여 샘플 효율성을 향상시킨다.
• 궤적 기반 및 점진적 추정 방법 모두 효과적이며, 후자는 온라인 학습을 가능하게 한다.
• 비트레이드오프 문제에서의 실험 결과는 제안된 알고리즘의 실용적 유용성과 강건성을 확인한다.