[論文レビュー] On the Convergence and Optimality of Policy Gradient for Markov Coherent Risk

Audrey Huang, Liu Leqi+2 more|arXiv (Cornell University)|Mar 4, 2021

Reinforcement Learning in Robotics参考文献 27被引用数 5

ひとこと要約

本稿は、マルコフ一貫リスク（MCR）最適化における方策勾配（PG）手法の理論的収束保証を確立し、勾配優位性の欠如によりPGが一般にグローバル最適解に収束しないことを証明している。状態分布の再重み付けを用いた実用的なPGアルゴリズムを提案し、リスク感受性および目的関数の非線形性に依存するタイトなサブオプティマルティーバウンドを提示しており、リスク感受性強化学習環境における実用的有効性を示している。

ABSTRACT

In order to model risk aversion in reinforcement learning, an emerging line of research adapts familiar algorithms to optimize coherent risk functionals, a class that includes conditional value-at-risk (CVaR). Because optimizing the coherent risk is difficult in Markov decision processes, recent work tends to focus on the Markov coherent risk (MCR), a time-consistent surrogate. While, policy gradient (PG) updates have been derived for this objective, it remains unclear (i) whether PG finds a global optimum for MCR; (ii) how to estimate the gradient in a tractable manner. In this paper, we demonstrate that, in general, MCR objectives (unlike the expected return) are not gradient dominated and that stationary points are not, in general, guaranteed to be globally optimal. Moreover, we present a tight upper bound on the suboptimality of the learned policy, characterizing its dependence on the nonlinearity of the objective and the degree of risk aversion. Addressing (ii), we propose a practical implementation of PG that uses state distribution reweighting to overcome previous limitations. Through experiments, we demonstrate that when the optimality gap is small, PG can learn risk-sensitive policies. However, we find that instances with large suboptimality gaps are abundant and easy to construct, outlining an important challenge for future research.

研究の動機と目的

• マルコフ一貫リスク（MCR）—一貫性のあるリスク関数への時間的整合な代替関数—を最適化する際、方策勾配（PG）手法がグローバル最適解に収束するかどうかを調査すること。
• 特にオンラインおよびオフポリシー設定において、MCR勾配の推定を実用的に行う課題に対処すること。
• 目的関数の非線形性およびリスク回避度と関連して、MCR下でのPG解のサブオプティマルティを特徴づけること。
• 再重み付けされた状態分布からのサンプリングを前提としない、実用的なPGアルゴリズムの開発・実装を図ること。
• リスク感受性環境における提案手法の実証的妥当性を検証し、内在するサブオプティマルティーガップにもかかわらずその有効性を示すこと。

提案手法

• 再重み付けされた分布からの直接的サンプリングを必要とせず、関数近似を用いた状態分布再重み付けによりMCR勾配を推定する、新規な方策勾配アルゴリズムを提案する。
• Liuら（2018）のオフポリシー評価技術を活用し、状態分布のズレを補正することで、オンラインRL設定における実用的勾配推定を可能にする。
• MCR目的関数のラグランジュ形式を導出し、方策、リスクエンvelope、および双対変数に関する勾配計算を可能にする。
• 二段階最適化フレームワークを導入：リスクエンvelopeの学習（ξネットワークを介して）と双対変数の学習（λネットワークを介して）を別々に処理し、ミニマックス更新を実施する。
• MCR勾配計算に必要な再重み付け分布上の期待値を近似するために、定常状態分布再重み付け法を採用する。
• 勾配推定器をアクター・クリティックフレームワークに統合し、標準的なPG更新を用いたエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 MCR目的関数は勾配優位性を満たすか？ もし満たさない場合、PGがグローバル最適解に収束するか？
• RQ2 MCR最適化における定常点のサブオプティマルティーガップに対する、最もタイトな上界は何か？
• RQ3 再重み付けされた状態分布へのアクセスを仮定せず、MCR勾配を実用的かつ実用的に推定できるか？
• RQ4 サブオプティマルティーガップは、リスク感受性および目的関数の非線形性にどのように依存するか？
• RQ5 再重み付けされた状態分布からの強いサンプリング仮定を回避し、実証的評価を可能にする実用的PGアルゴリズムを設計・実装できるか？

主な発見

• 一般に、MCR目的関数は勾配優位性を満たさないため、方策勾配手法がグローバル最適解に収束することを保証しない。
• 目的関数の非線形性およびリスク回避度に依存する、タイトなサブオプティマルティーガップの上界が導出された。
• MCRに対する射影勾配降下法は、同じ残差に基づくサブオプティマルティーガップで有界な解に収束し、収束速度はO(1/√T)を達成する。
• 期待リターンの下ではサブオプティマルティーガップが消滅し、標準PG理論の既知の収束結果が回復される。
• 状態分布再重み付けを用いた本手法により、再重み付け分布からのサンプリングを仮定しない実用的PG学習が可能となり、従来の仮定を克服した。
• 実験では、サブオプティマルティーガップが小さい場合にはPGがリスク感受性方策を学習可能であるが、大きなギャップは一般的に存在し、容易に構築可能であることが示され、今後の研究における主要な課題が浮き彫りになった。