[論文レビュー] Policy Gradient for Coherent Risk Measures

Aviv Tamar, Yinlam Chow+2 more|arXiv (Cornell University)|Feb 13, 2015

Risk and Portfolio Optimization参考文献 31被引用数 35

ひとこと要約

本論文は、一貫性のあるリスク測度を用いた強化学習における統一的ポリシー勾配フレームワークを提案する。これは、CVaR や分散といった特定のリスク指標に関する先行研究を一般化するものである。静的一貫性のあるリスクに対するサンプリングベースのアルゴリズムと、時間的一致性を持つ動的リスクに対するアクター・クリティック手法を導入することで、一貫性と収束保証を伴うスケーラブルなリスク感受性RLを実現する。このフレームワークは、一貫性のあるリスク測度の全クラスに適用可能である。

ABSTRACT

Several authors have recently developed risk-sensitive policy gradient methods that augment the standard expected cost minimization problem with a measure of variability in cost. These studies have focused on specific risk-measures, such as the variance or conditional value at risk (CVaR). In this work, we extend the policy gradient method to the whole class of coherent risk measures, which is widely accepted in finance and operations research, among other fields. We consider both static and time-consistent dynamic risk measures. For static risk measures, our approach is in the spirit of policy gradient algorithms and combines a standard sampling approach with convex programming. For dynamic risk measures, our approach is actor-critic style and involves explicit approximation of value function. Most importantly, our contribution presents a unified approach to risk-sensitive reinforcement learning that generalizes and extends previous results.

研究の動機と目的

• 強化学習における一貫性のあるリスク測度の全クラスに適用可能な一般化されたポリシー勾配法の開発。
• CVaR や分散といった特定のリスク指標にとどまらず、任意の一貫性のあるリスク測度にまで拡張可能なリスク感受性RLの拡張。
• 時間的一致性を持つ動的リスクの定式化を提供し、逐次意思決定におけるアクター・クリティック学習を可能にする。
• 一貫性のあるリスク測度の全クラスにわたるリスク感受性ポリシー勾配の先行研究を統合し、一貫性のある理論的枠組みに統一する。
• サンプリングと凸計画法を用いることで、大規模または連続的MDPにおいてもスケーラビリティと一貫性を確保する。

提案手法

• 静的一貫性のあるリスクに対する新しい勾配公式を提案。サンプリングと凸計画法を用いて、リスク感受性ポリシー勾配の近似を実現する。
• モンテカルロシミュレーションと凸最適化を組み合わせたサンプリングベースのアルゴリズムを導入。一般の静的一貫性のあるリスクに対する勾配推定を可能にする。
• 動的マルコフ一貫性のあるリスクに対するポリシー勾配定理を確立。勾配をリスク感受性価値関数と関連付ける。
• 時間的一致性を持つ動的リスク測度を扱うために、明示的な価値関数近似を用いたアクター・クリティックアーキテクチャを採用。
• 訪問分布と遷移ダイナミクスを用いて、行列の逆行列計算と摂動解析により一貫性のある勾配推定子を導出する。
• 確率的プログラミングおよびロバストMDPの結果を応用し、理論的収束性と安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 強化学習における一貫性のあるリスク測度の全クラスに適用可能なポリシー勾配をどのように一般化できるか？
• RQ2 効率的なサンプリングベース推定を可能にする静的一貫性のあるリスクに対する適切な勾配定式化は何か？
• RQ3 時間的一致性を持つ動的リスク測度をアクター・クリティック強化学習フレームワークにどのように統合できるか？
• RQ4 CVaR や分散、平均・分散最適化のための先行手法を包含する統一フレームワークを構築できるか？
• RQ5 一貫性のあるリスク目的関数下で、サンプリングベースのポリシー勾配法にどのような理論的保証（一貫性、収束性など）を確立できるか？

主な発見

• 提案手法は、CVaR や分散の既知の結果を特別なケースとして含む、リスク感受性RLに関する先行研究を一般化・統合する。
• サンプリングと凸計画法に適した静的一貫性のあるリスクに対する新しい勾配公式が導出され、実装が可能になる。
• 動的リスクの文脈では、勾配をリスク感受性価値関数に関連付けるポリシー勾配定理が確立され、アクター・クリティック学習が可能になる。
• 理論的一致性が証明された：サンプル数が増加するにつれて、推定されたポリシー勾配は一貫性のあるリスク目的関数下での真の勾配に収束する。
• サンプリングと凸最適化、価値関数近似を組み合わせることで、大規模または連続的MDPへのスケーラビリティが実現される。
• 動的一貫性のあるリスク下では、このフレームワークがロバストMDPと同等であることが示され、確立されたロバスト制御理論と結びつく。