[논문 리뷰] An Approximate Solution Method for Large Risk-Averse Markov Decision Processes

Marek Petrik, Dharmashankar Subramanian|arXiv (Cornell University)|2012. 10. 16.

Risk and Portfolio Optimization참고 문헌 19인용 수 13

한 줄 요약

이 논문은 하이브리드 연속-이산 상태와 연속 동작 공간을 가진 대규모 위험 회피 마코프 결정 과정(MDPs)을 위한 새로운 근사 해법을 제안한다. MDPs 내 위험 측도의 선형성 구조를 활용하여, 볼록 최적화를 통해 가치 함수의 하한을 반복적으로 개선함으로써 복잡한 포트폴리오 최적화 문제를 최소한의 계산 부담으로 효율적으로 해결할 수 있다.

ABSTRACT

Stochastic domains often involve risk-averse decision makers. While recent work has focused on how to model risk in Markov decision processes using risk measures, it has not addressed the problem of solving large risk-averse formulations. In this paper, we propose and analyze a new method for solving large risk-averse MDPs with hybrid continuous-discrete state spaces and continuous action spaces. The proposed method iteratively improves a bound on the value function using a linearity structure of the MDP. We demonstrate the utility and properties of the method on a portfolio optimization problem.

연구 동기 및 목표

• 연속 및 하이브리드 상태-동작 공간을 가진 대규모 위험 회피 MDPs를 해결하기 위한 확장 가능한 해법 방법의 부족을 해결하기 위해.
• 이론적 보장을 유지하면서도 실세계 응용에 대해 계산적으로 실현 가능한 근사 해법 프레임워크를 개발하기 위해.
• 포트폴리오 관리와 같은 확률적 도메인에서 위험 회피 의사결정의 실용적 구현을 가능하게 하기 위해.

제안 방법

• MDPs 내 일관된 위험 측도의 선형성 구조를 활용하여 가치 함수 최적화를 볼록 프로그램으로 재구성한다.
• 볼록 최적화를 위한 컷팅 평면 또는 번들 방법을 사용하여 최적 가치 함수의 하한을 반복적으로 개선한다.
• 비연속적인 위험 측도(예: 조건부가치하한(CVaR))를 처리하기 위해 위험 회피 가치 함수의 체계적 선형 근사를 사용한다.
• 연속 차원을 관리하면서 수렴 보장을 유지하기 위해 상태 및 동작 공간의 이산화 또는 샘플링 전략을 통합한다.
• 정책 평가 및 개선 단계에 기반하여 업데이트되는 기저 함수 또는 제약 조건의 작업 세트를 유지한다.
• MDP의 전이 및 보상 함수에 존재하는 희소성과 구조를 활용하여 고차원 문제로의 확장성을 설계한다.

실험 결과

연구 질문

• RQ1 연속 및 하이브리드 상태-동작 공간을 가진 대규모 위험 회피 MDPs를 해결하기 위한 확장 가능하고 이론적으로 타당한 방법을 개발할 수 있는가?
• RQ2 MDPs 내 위험 측도의 선형성은 어떻게 활용되어 효율적인 반복 최적화 절차를 설계할 수 있는가?
• RQ3 포트폴리오 관리의 위험 회피 MDPs에서 해의 정확도와 계산 효율성 사이의 성능 트레이드오프는 어떠한가?
• RQ4 정확한 또는 이전의 근사 방법과 비교할 때 제안된 방법의 수렴성 및 해 품질은 어떻게 되는가?

주요 결과

• 정확한 방법과 비교해 본 논문에서 제안한 방법은 상당한 계산 절감 효과를 보이며, 이전에는 처리할 수 없었던 대규모 위험 회피 MDPs의 해를 가능하게 한다.
• 알고리즘은 최적 가치 함수의 보장된 하한을 통해 근사 최적 정책으로 수렴하며, 이는 해의 품질을 보장한다.
• 포트폴리오 최적화 문제에 대한 실험 결과는 제안된 방법이 기준 방법 대비 위험 조정 수익률과 계산 효율성 측면에서 뛰어난 성능을 보임을 보여준다.
• 다양한 문제 크기와 위험 수준에서 안정성과 확장성을 유지하며 고차원 환경에서도 강건함을 입증한다.