[論文レビュー] Neural Policy Gradient Methods: Global Optimality and Rates of Convergence

Lingxiao Wang, Qi Cai+2 more|arXiv (Cornell University)|Aug 29, 2019

Model Reduction and Neural Networks参考文献 80被引用数 91

ひとこと要約

本論文は、過パラメータ化された二層ネットワークにおけるニューラル方策勾配法のグローバル最適性とサブ線形収束率を証明し、アクターとクリティックの適合性の重要性を強調している。

ABSTRACT

Policy gradient methods with actor-critic schemes demonstrate tremendous empirical successes, especially when the actors and critics are parameterized by neural networks. However, it remains less clear whether such "neural" policy gradient methods converge to globally optimal policies and whether they even converge at all. We answer both the questions affirmatively in the overparameterized regime. In detail, we prove that neural natural policy gradient converges to a globally optimal policy at a sublinear rate. Also, we show that neural vanilla policy gradient converges sublinearly to a stationary point. Meanwhile, by relating the suboptimality of the stationary points to the representation power of neural actor and critic classes, we prove the global optimality of all stationary points under mild regularity conditions. Particularly, we show that a key to the global optimality and convergence is the "compatibility" between the actor and critic, which is ensured by sharing neural architectures and random initializations across the actor and critic. To the best of our knowledge, our analysis establishes the first global optimality and convergence guarantees for neural policy gradient methods.

研究の動機と目的

• ニューラル方策勾配法のアクター-クリティック設定における理論的保証の理解を動機づける。
• 過パラメータ化された共有アーキテクチャ下での収束性と最適性を分析する。
• バニラ方策勾配法と自然方策勾配法の収束速度を確立する。
• 共有初期化によるアクターとクリティック間の適合性の役割を示す。

提案手法

• ReLU活性化を持つ二層ニューラルネットワークとしてポリシーを表現し、行動に対するソフトマックス（エネルギー源形）を適用する。
• クリティックには独立サンプリングを用いたTD(0)でポリシー勾配を推定する。
• 2つの設定を分析する：バニラ方策勾配法（勾配上昇）と自然方策勾配法（フィッシャー情報に基づく更新）。
• バニラ方策勾配法の期待二乗ノルムに対して1/√Tの収束率を証明する。
• KL正則化下でニューラル自然方策勾配法がグローバルに最適なポリシーへ1/√Tの収束率で到達することを証明する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化の下でニューラル方策勾配法はグローバルに最適なポリシーへ収束するのか？
• RQ2 アクター-クリティック設定におけるニューラル方策勾配法とニューラル自然方策勾配法の収束速度はどうなるのか？
• RQ3 共有アーキテクチャと初期化によるアクターとクリティック間の適合性は収束と最適性にどのように影響するのか？
• RQ4 ニューラル方策勾配法の定常点は、穏当な正則性条件の下でグローバルに最適になり得るのか？

主な発見

• ニューラルバニラ方策勾配法は、平方勾配ノルムに対して1/√Tの速さで定常点へ収束する。
• ニューラル自然方策勾配法は、総報酬に対して1/√Tの速さでグローバルに最適なポリシーへ収束する。
• 全ての定常点のグローバル最適性は、穏当な正則性条件とニューラルアクター/クリティックの表現力の下で成り立つ。
• グローバル保証は、共有アーキテクチャとランダム初期化によって達成されるアクターとクリティック間の適合性概念に依存する。
• 分析は、独立サンプリング設定のTD(0)クリティックを用いた過パラメータ化二層ネットワークを対象とする。