[論文レビュー] Policy Gradients with Variance Related Risk Criteria

Dotan Di Castro, Aviv Tamar+1 more|arXiv (Cornell University)|Jun 27, 2012

Reinforcement Learning in Robotics参考文献 12被引用数 116

ひとこと要約

本論文は、エピソード的タスクにおけるコスト・トゥ・ゴールの分散に関する新しい解析的公式を導出することで、シャープレシオなどの分散関連リスク基準を最適化する、強化学習のための新しい方策勾配フレームワークを紹介する。この手法により、リスク感受性制御問題において局所最適解への収束が可能となり、ポートフォリオ計画への応用で効果的に示された。

ABSTRACT

Managing risk in dynamic decision problems is of cardinal importance in many fields such as finance and process control. The most common approach to defining risk is through various variance related criteria such as the Sharpe Ratio or the standard deviation adjusted reward. It is known that optimizing many of the variance related risk criteria is NP-hard. In this paper we devise a framework for local policy gradient style algorithms for reinforcement learning for variance related criteria. Our starting point is a new formula for the variance of the cost-to-go in episodic tasks. Using this formula we develop policy gradient algorithms for criteria that involve both the expected cost and the variance of the cost. We prove the convergence of these algorithms to local minima and demonstrate their applicability in a portfolio planning problem.

研究の動機と目的

• 不確実性下での動的意思決定におけるリスク感受性強化学習の挑戦に取り組む。
• シャープレシオなどの分散関連リスク基準を最適化する際の計算困難性に取り組む。
• 期待コストと分散を含むリスク基準に特化した局所的方策勾配アルゴリズムを開発する。
• 提案されたアルゴリズムが局所最小値への収束を保証する理論的根拠を確立する。
• リスク意識的な目的を持つ実世界のポートフォリオ計画問題への実用的適用を実証する。

提案手法

• エピソード的マーカフ決定過程におけるコスト・トゥ・ゴールの分散に関する新しい解析的公式を導出する。
• 導出した分散公式を用いて、累積コストの平均と分散の両方を考慮した方策勾配更新を構築する。
• リスク感受性基準を最適化するための確率的近似に基づく方策勾配アルゴリズムを設計する。
• パスワイズ微分を用いて分散項の勾配を方策更新ルールに組み込む。
• 標準的な強化学習の仮定の下で、理論的分析によりアルゴリズムの局所最適解への収束を保証する。
• 性能の妥当性を検証するため、ポートフォリオ管理タスクにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 強化学習における分散関連リスク基準を最適化できるように、方策勾配法を効果的に設計できるか？
• RQ2 エピソード的タスクにおいて、コスト・トゥ・ゴールの分散を解析的に表現・微分することは可能か？
• RQ3 リスク感受性の目的を最適化する際、方策勾配アルゴリズムの収束挙動はいかなるものか？
• RQ4 提案手法は、リスク意識的な環境における標準的方策勾配アプローチと比較してどのように異なるか？
• RQ5 このフレームワークは、ポートフォリオ計画のような実世界のリスク感受性制御問題に成功裏に適用可能か？

主な発見

• 本論文は、リスク感受性基準の勾配ベース最適化を可能にする、コスト・トゥ・ゴールの分散に関する新しい閉形式の式を導出した。
• 提案された方策勾配アルゴリズムは、標準的な正則性条件のもとで局所最小値への収束を示した。
• 本手法は、期待コストと分散を組み合わせた目的（例：シャープレシオ）を効果的に処理できた。
• ポートフォリオ計画問題における実験的結果から、アルゴリズムが改善されたリスク調整済みパフォーマンスを達成したことが示された。
• 本フレームワークは、分散基準の直接最適化がNP困難であるという課題を克服し、理論的根拠を備えたリスク感受性強化学習のアプローチを提供した。
• リスク管理が極めて重要な分野（例：金融分野）において、本アルゴリズムは実用的妥当性を示した。