[논문 리뷰] Policy Gradients Beyond Expectations: Conditional Value-at-Risk.

Aviv Tamar, Yonatan Glassner외 1명|arXiv (Cornell University)|2014. 04. 15.

Risk and Portfolio Optimization참고 문헌 26인용 수 20

한 줄 요약

이 논문은 조건부가치의위험도(CVaR) 최적화를 위한 새로운 정책 기울기 방법을 제안하며, 기울기 공식을 조건부 기대값으로 유도하여 샘플 기반 추정과 기울기 하강법을 가능하게 한다. 이는 위험 민감한 강화학습을 위한 것이다. 이 방법은 샘플 효율성을 향상시키기 위해 중요도 샘플링 절차를 사용하여 테트리스 컨트롤러 학습 과제에서 검증되었다.

ABSTRACT

Conditional Value at Risk (CVaR) is a prominent risk measure that is being used extensively in various domains such as finance. In this work we present a new formula for the gradient of the CVaR in the form of a conditional expectation. Our result is similar to policy gradients in the reinforcement learning literature. Based on this formula, we propose novel sampling-based estimators for the CVaR gradient, and a corresponding gradient descent procedure for CVaR optimization. We evaluate our approach in learning a risk-sensitive controller for the game of Tetris, and propose an importance sampling procedure that is suitable for such domains.

연구 동기 및 목표

• 불확실성 하에서 순차적 의사결정 문제에 대해 CVaR의 원칙적인 기울기 추정 방법을 개발하는 것.
• CVaR를 尾尾부 위험 측도로 사용하여 정책 기울기 강화학습을 위험 민감한 목표로 확장하는 것.
• 샘플 기반 추정기와 기울기 하강 절차를 통해 CVaR의 실용적 최적화를 가능하게 하는 것.
• CVaR 목표에 맞게 조정된 중요도 샘플링 절차를 통해 위험 민감한 제어의 샘플 효율성을 향상시키는 것.

제안 방법

• 표준 정책 기울기와 유사한 조건부 기대값으로서의 CVaR 기울기의 새로운 분석 공식을 유도한다.
• 실제로 진짜 기울기를 근사하기 위해 유도된 기울기 공식을 활용하는 샘플 기반 추정기를 제안한다.
• 강화학습 환경에서 CVaR 목표를 최적화하기 위한 기울기 하강 알고리즘을 설계한다.
• 시뮬레이션 환경에서 CVaR 기울기 추정 시 샘플 효율성을 향상시키기 위해 중요도 샘플링 절차를 도입한다.
• 이 방법을 사용하여 테트리스 환경에서 위험 민감한 컨트롤러를 학습시키며, 고분산 결과에 대한 강건성을 입증한다.
• 조건부 기대값 구조를 활용하여 위험 회피 정책의 안정적이고 확장 가능한 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 CVaR 목표의 기울기는 정책 기울기 강화학습에 적합한 형태로 어떻게 표현할 수 있는가?
• RQ2 새로운 기울기 공식에서 유도할 수 있는 샘플 기반 추정기는 실용적 최적화를 위해 어떤 것이 있는가?
• RQ3 CVaR 기반 강화학습에서 샘플 효율성을 향상시키기 위해 중요도 샘플링을 어떻게 적응시킬 수 있는가?
• RQ4 제안된 방법은 테트리스와 같이 결과의 분산이 높은 환경에서 위험 민감한 정책을 효과적으로 학습시킬 수 있는가?
• RQ5 표준 정책 기울기 방법에 비해 위험 완화 측면에서 이 방법이 어떤 성능 향상을 달성하는가?

주요 결과

• 논문은 조건부 기대값으로서의 CVaR 기울기의 폐형 표현을 성공적으로 유도하여 기울기 기반 최적화를 가능하게 하였다.
• 제안된 샘플 기반 추정기는 실무에서 CVaR 기울기를 근사하는 데 안정적이고 효과적인 방법을 제공한다.
• 새로운 공식에 기반한 기울기 하강 절차는 강화학습에서 위험 회피 정책의 최적화를 가능하게 한다.
• 중요도 샘플링 절차는 특히 고분산 환경에서 CVaR 기울기 추정 시 샘플 효율성을 향상시킨다.
• 이 방법은 테트리스 컨트롤러 학습에서 위험 민감성을 향상시켜 희귀하지만 고비용의 실패 결과에 대한 강건성을 입증하였다.
• 실험 결과는 CVaR 성능 측정 기준으로 볼 때 표준 정책 기울기 방법에 비해 꼬리 위험을 효과적으로 감소시킨다는 것을 보여주었다.