[논문 리뷰] Policy Gradient for Coherent Risk Measures

Aviv Tamar, Yinlam Chow외 2명|arXiv (Cornell University)|2015. 02. 13.

Risk and Portfolio Optimization참고 문헌 31인용 수 35

한 줄 요약

이 논문은 일관된 위험 측도를 갖춘 강화학습을 위한 통합된 정책 기울기 프레임워크를 제안하며, CVaR 및 분산과 같은 특정 위험 지표에 대한 이전 작업을 일반화한다. 정적 일관된 위험에 대해 샘플링 기반 알고리즘과 시간에 일관된 동적 위험을 위한 액터-크리틱 방법을 도입함으로써, 전체 일관된 위험 측도 클래스에 대해 이론적 일관성과 수렴 보장을 갖춘 확장 가능한 위험 민감한 강화학습을 가능하게 한다.

ABSTRACT

Several authors have recently developed risk-sensitive policy gradient methods that augment the standard expected cost minimization problem with a measure of variability in cost. These studies have focused on specific risk-measures, such as the variance or conditional value at risk (CVaR). In this work, we extend the policy gradient method to the whole class of coherent risk measures, which is widely accepted in finance and operations research, among other fields. We consider both static and time-consistent dynamic risk measures. For static risk measures, our approach is in the spirit of policy gradient algorithms and combines a standard sampling approach with convex programming. For dynamic risk measures, our approach is actor-critic style and involves explicit approximation of value function. Most importantly, our contribution presents a unified approach to risk-sensitive reinforcement learning that generalizes and extends previous results.

연구 동기 및 목표

• 강화학습에서 전체 일관된 위험 측도 클래스에 적용 가능한 일반 정책 기울기 방법을 개발하는 것.
• CVaR나 분산과 같은 특정 위험 지표를 초월하여 어떤 일관된 위험 측도에도 적용 가능한 위험 민감한 강화학습을 확장하는 것.
• 시간에 일관된 동적 위험 공식을 제안하여 순차적 의사결정에서 액터-크리틱 학습을 지원하는 것.
• 일관된 이론적 프레임워크 내에서 이전의 위험 민감한 정책 기울기 결과들을 통합하고 일반화하는 것.
• 샘플링 및 볼록 프로그래밍 기법을 통해 큰 또는 연속적인 MDP에서의 확장성과 일관성을 확보하는 것.

제안 방법

• 정적 일관된 위험에 대해 샘플링과 볼록 프로그래밍을 사용하여 위험 민감한 정책 기울기의 근사치를 구하는 새로운 기울기 공식을 제안한다.
• 몬테카를로 롤아웃과 볼록 최적화를 결합한 샘플링 기반 알고리즘을 도입하여 일반 정적 일관된 위험의 기울기를 추정한다.
• 동적 마르코프 일관된 위험에 대한 정책 기울기 정리를 수립하여 기울기를 위험 민감한 가치 함수와 연결한다.
• 시간에 일관된 동적 위험 측도를 다룰 수 있도록 명시적인 가치 함수 근사 기법을 사용하는 액터-크리틱 아키텍처를 구현한다.
• 방문 분포와 전이 동역학을 활용하여 행렬 역행렬과 섭동 분석을 통해 일관된 기울기 추정기의 유도를 수행한다.
• 확률적 프로그래밍 및 강건한 MDP 이론의 결과를 적용하여 이론적 수렴성과 안정성을 보장한다.

실험 결과

연구 질문

• RQ1 강화학습에서 전체 일관된 위험 측도 클래스에 적용 가능한 정책 기울기를 어떻게 일반화할 수 있는가?
• RQ2 효율적인 샘플링 기반 추정을 가능하게 하는 정적 일관된 위험에 대한 올바른 기울기 공식은 무엇인가?
• RQ3 시간에 일관된 동적 위험 측도는 어떻게 액터-크리틱 강화학습 프레임워크에 통합할 수 있는가?
• RQ4 CVaR, 분산, 평균-분산 최적화에 대한 이전 방법들을 포함하는 통합 프레임워크를 개발할 수 있는가?
• RQ5 일관된 위험 목표 하에서 샘플링 기반 정책 기울기 방법에 대해 어떤 이론적 보장(예: 일관성, 수렴성)을 확보할 수 있는가?

주요 결과

• 제안된 방법은 이전의 위험 민감한 강화학습 연구를 일반화하고 통합하며, CVaR 및 분산에 대한 기존 결과를 특수한 경우로 포함한다.
• 샘플링 및 볼록 프로그래밍에 적합한 새로운 정적 일관된 위험 기울기 공식이 유도되었으며, 이는 실용적 구현을 가능하게 한다.
• 동적 위험의 경우, 기울기를 위험 민감한 가치 함수와 연결하는 정책 기울기 정리가 수립되어 액터-크리틱 학습이 가능해진다.
• 이론적 일관성이 입증됨: 표본 수가 증가할수록 추정된 정책 기울기가 일관된 위험 목표 하의 진짜 기울기로 수렴한다.
• 샘플링과 볼록 최적화, 가치 함수 근사 기법을 조합함으로써, 큰 또는 연속적인 MDP로의 확장이 가능해진다.
• 동적 일관된 위험 하에서 이 프레임워크가 강건한 MDP와 동일시됨이 입증되어 기존 강건 제어 이론과 연결된다.