[논문 리뷰] Policy Gradients with Variance Related Risk Criteria

Dotan Di Castro, Aviv Tamar외 1명|arXiv (Cornell University)|2012. 06. 27.

Reinforcement Learning in Robotics참고 문헌 12인용 수 116

한 줄 요약

이 논문은 에피소드적 작업에서의 비용-지급의 분산에 대한 분석적 공식을 유도함으로써, 샤프 레이션과 같은 분산 관련 리스크 기준을 최적화하는 강화학습을 위한 새로운 정책 그래디언트 프레임워크를 소개한다. 이 방법은 리스크 민감한 제어 문제에서 국소 최적해로의 수렴을 가능하게 하며, 포트폴리오 계획 응용 분야에서 효과적으로 입증되었다.

ABSTRACT

Managing risk in dynamic decision problems is of cardinal importance in many fields such as finance and process control. The most common approach to defining risk is through various variance related criteria such as the Sharpe Ratio or the standard deviation adjusted reward. It is known that optimizing many of the variance related risk criteria is NP-hard. In this paper we devise a framework for local policy gradient style algorithms for reinforcement learning for variance related criteria. Our starting point is a new formula for the variance of the cost-to-go in episodic tasks. Using this formula we develop policy gradient algorithms for criteria that involve both the expected cost and the variance of the cost. We prove the convergence of these algorithms to local minima and demonstrate their applicability in a portfolio planning problem.

연구 동기 및 목표

• 불확실성 하에서의 동적 의사결정 문제에 있어서 리스크 민감한 강화학습의 과제를 해결한다.
• 샤프 레이션과 같은 분산 관련 리스크 기준을 최적화하는 데 있어 계산적으로 비가능한 문제를 다룬다.
• 기대 비용과 분산을 모두 포함하는 리스크 기준에 특화된 국소 정책 그래디언트 알고리즘을 개발한다.
• 제안된 알고리즘의 국소 최소값으로의 수렴 보장을 이론적으로 확립한다.
• 리스크 인식 목표를 가진 실제 포트폴리오 계획 문제에서의 실용적 적용성을 입증한다.

제안 방법

• 에피소드적 마르코프 결정 과정에서의 비용-지급 분산에 대한 새로운 분석적 공식을 유도한다.
• 유도된 분산 공식을 활용해 누적 비용의 평균과 분산을 모두 고려한 정책 그래디언트 업데이트를 구성한다.
• 리스크 민감한 기준을 최적화하는 스토하스틱 근사 기반 정책 그래디언트 알고리즘을 설계한다.
• 경로 기반 도함수를 사용하여 분산 항의 기울기를 정책 업데이트 규칙에 통합한다.
• 기본 강화학습 가정 하에 이론적 분석을 통해 알고리즘의 국소 최적해로의 수렴을 보장한다.
• 성능 검증을 위해 포트폴리오 관리 과제에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 강화학습에서 분산 관련 리스크 기준을 최적화하기 위해 효과적인 정책 그래디언트 방법을 설계할 수 있는가?
• RQ2 에피소드적 작업에서 비용-지급의 분산을 분석적으로 표현하고 도함수를 구할 수 있는가?
• RQ3 리스크 민감한 목표를 최적화할 때 정책 그래디언트 알고리즘의 수렴 행동은 어떠한가?
• RQ4 제안된 방법은 리스크 인식 환경에서 표준 정책 그래디언트 접근법과 비교해 어떻게 성능을 내는가?
• RQ5 이 프레임워크는 포트폴리오 계획과 같은 실제 리스크 민감한 제어 문제에 성공적으로 적용될 수 있는가?

주요 결과

• 논문은 비용-지급의 분산에 대한 새로운 닫힌 형태의 표현식을 유도하여, 리스크 민감한 기준의 기울기 기반 최적화를 가능하게 한다.
• 제안된 정책 그래디언트 알고리즘은 표준 정규성 조건 하에서 국소 최소값으로 수렴한다.
• 이 방법은 기대 비용과 분산을 모두 포함하는 목표, 예를 들어 샤프 레이션과 같은 기준을 성공적으로 처리한다.
• 리스크 인식 제어 문제에서의 포트폴리오 계획 문제에 대한 실증 결과는 알고리즘이 향상된 리스크 조정 성능를 달성함을 보여준다.
• 이 프레임워크는 직접적인 분산 기준 최적화의 NP-난이도를 극복하며, 리스크 민감한 강화학습에 대해 이론적으로 탄탄한 접근법을 제공한다.
• 이 알고리즘은 금융과 같이 리스크 관리가 핵심적인 분야에서 실용적인 타당성을 입증한다.