[論文レビュー] Single-Timescale Actor-Critic Provably Finds Globally Optimal Policy

Zuyue Fu, Zhuoran Yang+1 more|arXiv (Cornell University)|Aug 2, 2020

Reinforcement Learning in Robotics参考文献 80被引用数 16

ひとこと要約

本稿は、線形関数近似および深層ニューラルネットワーク関数近似を併用する単一時刻スケールのアクタ・クリティック強化学習に対して、初めてのグローバル収束性およびグローバル最適性の保証を確立した。実用的な同時更新設定において、二段階型または二時刻スケールの仮定を一切用いずに、反復回数 $K$ の関数として $O(K^{-1/2})$ の部分線形収束速度で、アクタ列がグローバルに最適な方策に収束することを証明した。

ABSTRACT

We study the global convergence and global optimality of actor-critic, one of the most popular families of reinforcement learning algorithms. While most existing works on actor-critic employ bi-level or two-timescale updates, we focus on the more practical single-timescale setting, where the actor and critic are updated simultaneously. Specifically, in each iteration, the critic update is obtained by applying the Bellman evaluation operator only once while the actor is updated in the policy gradient direction computed using the critic. Moreover, we consider two function approximation settings where both the actor and critic are represented by linear or deep neural networks. For both cases, we prove that the actor sequence converges to a globally optimal policy at a sublinear $O(K^{-1/2})$ rate, where $K$ is the number of iterations. To the best of our knowledge, we establish the rate of convergence and global optimality of single-timescale actor-critic with linear function approximation for the first time. Moreover, under the broader scope of policy optimization with nonlinear function approximation, we prove that actor-critic with deep neural network finds the globally optimal policy at a sublinear rate for the first time.

研究の動機と目的

• 実用的な単一時刻スケールのアクタ・クリティックアルゴリズムとその収束保証との間の理論的ギャップを埋めること。
• 単一時刻スケール設定下での線形関数近似を用いたアクタ・クリティックにおけるグローバル収束性およびグローバル最適性を確立すること。
• 単一時刻スケール更新下での深層ニューラルネットワークを用いたアクタ・クリティックにおけるグローバル最適性および部分線形収束を証明すること。
• 二段階型または二時刻スケールの仮定に依存せずに、単一時刻スケールのアクタ・クリティックの収束を分析すること。
• PPO や SAC といった広く使われている深層強化学習アルゴリズムが単一時刻スケールで動作することを踏まえ、それらの理論的基盤を提供すること。

提案手法

• アルゴリズムは、アクタとクリティックを同時に更新する単一時刻スケールの設定を採用し、各反復でクリティックはベルマン評価作用素を1回適用して更新される。
• アクタは、現在のクリティック推定値を用いて、プロキシマル・ポリシー最適化（PPO）風の更新により方策勾配方向に更新される。
• クリティックは線形または深層ニューラルネットワークで表現され、アクタはニューラルネットワークでパラメータ化されたエネルギーに基づく方策を用いる。
• 分析では、新規のリャプノフ関数を用い、コーシー・シュワルツの不等式と仮定 C.1 による密度比制御を用いて誤差バインディングを確立した。
• 政策勾配誤差をバインドし、アクタ列がグローバルに最適な方策に近づくことを示すことで収束を証明した。
• 真の政策勾配と推定されたものとの乖離を、$ au_{k+1}^{-1} ho_{k+1,f}$ および $eta_k^{-1} Q_{ heta_k}$ を含む誤差項によって制御することで証明に依存した。

実験結果

リサーチクエスチョン

• RQ1 線形関数近似を用いた単一時刻スケールのアクタ・クリティックは、グローバルに最適な方策に確かに収束するか？
• RQ2 深層ニューラルネットワーク関数近似を用いた単一時刻スケールのアクタ・クリティックは、グローバル最適性に到達できるか？
• RQ3 線形および非線形関数近似下での単一時刻スケールのアクタ・クリティックの収束速度は何か？
• RQ4 二段階型または二時刻スケールの仮定に依存せずに、グローバル最適性を保証することは可能か？
• RQ5 アクタ・クリティックの理論的分析を、同時に更新を行う実用的な深層強化学習アルゴリズムに拡張できるか？

主な発見

• 線形関数近似および深層ニューラルネットワーク関数近似の両設定において、アクタ列はグローバルに最適な方策に部分線形速度 $O(K^{-1/2})$ で収束する。
• 本稿は、線形関数近似を用いた単一時刻スケールのアクタ・クリティックにおけるグローバル収束性およびグローバル最適性を初めて確立した。
• 深層ニューラルネットワーク関数近似の設定では、本稿が単一時刻スケール設定下でグローバル最適性および部分線形収束を初めて証明した。
• 収束速度は、無限大に近づくクリティックの更新や、徐々にゼロに近づくアクタのステップサイズを必要としない単一時刻スケール更新スキーム下で導出された。
• 密度比のバインディングを用いて政策勾配推定誤差を制御し、新規のリャプノフ関数を用いて収束を確立した。
• PPO や SAC といった実用的なアクタ・クリティックアルゴリズムが単一時刻スケールで動作することを裏付ける理論的妥当性を示した。