[論文レビュー] Towards Understanding Asynchronous Advantage Actor-critic: Convergence and Linear Speedup

Han Shen, Kaiqing Zhang+2 more|arXiv (Cornell University)|Dec 31, 2020

Electric Power System Optimization被引用数 6

ひとこと要約

本論文は、非漸近的収束解析を初めてA3C（非同期的優位性評価アーキテクチャ）アルゴリズムに適用し、i.i.d. およびマコビアンサンプリングの下で局所的収束を確立するとともに、ソフトマックス方策パラメータ化の下でグローバル収束を示した。A3CがNワーカーで線形速度向上を達成し、$\mathcal{O}(\epsilon^{-2.5}/N)$ のサンプル複雑度を達成することを証明した。これは、深層強化学習における並列処理と非同期性の理論的利点を裏付けるものである。

ABSTRACT

Asynchronous and parallel implementation of standard reinforcement learning (RL) algorithms is a key enabler of the tremendous success of modern RL. Among many asynchronous RL algorithms, arguably the most popular and effective one is the asynchronous advantage actor-critic (A3C) algorithm. Although A3C is becoming the workhorse of RL, its theoretical properties are still not well-understood, including its non-asymptotic analysis and the performance gain of parallelism (a.k.a. linear speedup). This paper revisits the A3C algorithm and establishes its non-asymptotic convergence guarantees. Under both i.i.d. and Markovian sampling, we establish the local convergence guarantee for A3C in the general policy approximation case and the global convergence guarantee in softmax policy parameterization. Under i.i.d. sampling, A3C obtains sample complexity of $\mathcal{O}(ε^{-2.5}/N)$ per worker to achieve $ε$ accuracy, where $N$ is the number of workers. Compared to the best-known sample complexity of $\mathcal{O}(ε^{-2.5})$ for two-timescale AC, A3C achieves \emph{linear speedup}, which justifies the advantage of parallelism and asynchrony in AC algorithms theoretically for the first time. Numerical tests on synthetic environment, OpenAI Gym environments and Atari games have been provided to verify our theoretical analysis.

研究の動機と目的

• A3Cの収束と並列処理による性能向上の理論的ギャップを解消すること。
• 一般方策近似とソフトマックスパラメータ化の下で、A3Cの非漸近的収束保証を確立すること。
• サンプル複雑度解析を通じて、A3Cで観察される線形速度向上を理論的に裏付けること。

提案手法

• リャプノフ解析とドリフト条件を用いて、i.i.d. およびマコビアンサンプリングの下で局所的収束を導出する。
• 2段階時刻フレームワークを採用し、エージェントとクライアントの更新を分離することで安定性を確保する。
• マルコフ連鎖の混合バウンドを用いて、非同期ワーカー間での時系列差分誤差伝播を独創的に分析する。
• テレスコピング和技術を用いて、遅延更新における期待方策勾配誤差をバウンドする。
• 全変動距離と幾何的エルゴディシティを用いて、非同期更新における古くなった勾配からのバイアスを制御する。
• 収束速度とワーカー数Nおよび目標精度ϵとの関係を関連付けることで、サンプル複雑度バウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 A3Cはどのような条件下で収束し、グローバル最適解に収束するのか？
• RQ2 i.i.d. およびマコビアンサンプリングの下で、A3Cの非漸近的収束速度は何か？
• RQ3 A3CはN個の並列ワーカーを用いて、サンプル複雑度の観点から線形速度向上を達成できるか？
• RQ4 非同期更新メカニズムは収束安定性とバイアスにどのように影響するか？
• RQ5 A3Cが訓練時間を短縮するという実験的成功の理論的裏付けは何か？

主な発見

• A3Cは、一般方策近似の下で、i.i.d. およびマコビアンサンプリングの両方で局所的収束を達成する。
• ソフトマックス方策パラメータ化の下で、A3Cのグローバル収束が確立された。
• i.i.d. サンプリングの下で、A3Cは$\mathcal{O}(\u005cepsilon^{-2.5}/N)$ のサンプル複雑度を達成し、$\u005cepsilon$-精度に到達する。
• このサンプル複雑度は、2段階時刻ACの最良既知のレートと一致し、Nワーカーによる線形速度向上を示している。
• 理論的解析により、A3Cにおける並列処理と非同期性が、証明可能な計算的利点を提供することが確認された。
• 合成環境、OpenAI Gym、およびAtari環境における数値実験により、理論的収束と速度向上の主張が検証された。