[논문 리뷰] Policy Gradients for CVaR-Constrained MDPs

L. A. Prashanth|arXiv (Cornell University)|2014. 05. 12.

Risk and Portfolio Optimization참고 문헌 15인용 수 4

한 줄 요약

이 논문은 조건부가치손실(CVaR)을 위험 측도로 사용하여 위험 제약이 있는 확률적 최단경로 문제를 위한 두 가지 정책 그래디언트 알고리즘을 제안한다. 확률적 근사, 미니배치, 중요도 샘플링, 가능도 비율 방법을 조합함으로써, 기대 비용 최적화와 CVaR 제약을 동시에 실현하는 데 있어 渐진 수렴을 달성하며, 희귀사건 추정에서 분산을 감소시킨다.

ABSTRACT

We study a risk-constrained version of the stochastic shortest path (SSP) problem, where the risk measure considered is Conditional Value-at-Risk (CVaR). We propose two algorithms that obtain a locally risk-optimal policy by employing four tools: stochastic approximation, mini batches, policy gradients and importance sampling. Both the algorithms incorporate a CVaR estimation procedure, along the lines of Bardou et al. [2009], which in turn is based on Rockafellar-Uryasev's representation for CVaR and utilize the likelihood ratio principle for estimating the gradient of the sum of one cost function (objective of the SSP) and the gradient of the CVaR of the sum of another cost function (in the constraint of SSP). The algorithms differ in the manner in which they approximate the CVaR estimates/necessary gradients - the first algorithm uses stochastic approximation, while the second employ mini-batches in the spirit of Monte Carlo methods. We establish asymptotic convergence of both the algorithms. Further, since estimating CVaR is related to rare-event simulation, we incorporate an importance sampling based variance reduction scheme into our proposed algorithms.

연구 동기 및 목표

• 확률적 최단경로(SSP) 문제에서 조건부가치손실(CVaR)을 위험 측도로 사용하는 위험 민감한 강화학습을 다루는 것.
• 기대 비용을 최소화하고 동시에 CVaR 기반 위험 제약을 충족시키는 최적화 알고리즘을 개발하는 것.
• 희귀사건 시나리오에서 특히 효과적으로, CVaR 추정의 표본 효율성과 분산을 개선하는 것.
• CVaR 제약 하에서 정책 그래디언트 방법의 이론적 수렴 보장을 확립하는 것.

제안 방법

• 기대 비용과 비용 함수의 CVaR에 대한 기울기 추정을 위해 가능도 비율 원리를 활용한다.
• Rockafellar-Uryasev의 CVaR 표현을 활용하여 정책 그래디언트 프레임워크 내에서 미분 가능한 추정을 가능하게 한다.
• CVaR 추정의 안정성과 정확도를 향상시키기 위해 중요도 샘플링 기반의 분산 감소 기법을 도입한다.
• 두 가지 변형을 제안한다: 하나는 온라인 그래디언트 업데이트를 위한 확률적 근사 기반이며, 다른 하나는 몬테카를로 방법에 영향을 받은 미니배치 기반이다.
• 미니배치 샘플링을 적용하여 고분산 설정에서 기울기 추정을 안정화하고 수렴을 향상시킨다.
• CVaR 추정 절차를 Bardou 등(2009)의 방법과 통합하여 일관된 위험 인식 최적화를 구현한다.

실험 결과

연구 질문

• RQ1 정책 그래디언트 방법은 어떻게 확률적 최단경로 문제에서 기대 비용과 CVaR 제약을 동시에 최적화할 수 있는가?
• RQ2 확률적 근사와 미니배치 샘플링을 사용할 경우, CVaR 제약이 있는 정책 학습의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ3 희귀사건 비용 결과를 다룰 때 CVaR 추정의 분산을 어떻게 줄일 수 있는가?
• RQ4 CVaR 제약 하에서 정책 그래디언트 알고리즘에 대해 渐진 수렴을 이론적으로 확립할 수 있는가?

주요 결과

• 제안된 알고리즘은 미약한 정규성 조건 하에서 渐진 수렴을 달성하여 신뢰할 수 있는 정책 최적화를 보장한다.
• 중요도 샘플링의 사용은 CVaR 추정의 분산을 크게 감소시켜 표본 효율성을 향상시킨다.
• 확률적 근사와 미니배치 변형 모두 위험 제약이 있는 MDP에서 안정적인 학습 동역학을 보여준다.
• Rockafellar-Uryasev의 표현을 통한 CVaR 추정 통합은 기울기 가능하고 확장 가능한 위험 인식 정책 학습을 가능하게 한다.
• 알고리즘은 기대 비용 최소화와 CVaR 기반 위험 제약 준수 사이의 균형을 성공적으로 달성한다.