[論文レビュー] Asynchronous Advantage Actor Critic: Non-asymptotic Analysis and Linear Speedup

Han Shen, Kaiqing Zhang+2 more|arXiv (Cornell University)|May 4, 2021

Reinforcement Learning in Robotics参考文献 42被引用数 6

ひとこと要約

この論文は、線形価値関数近似を用いたA3C-TD(0)アルゴリズムの非漸近的収束解析を初めて提供し、i.i.d.サンプリングのもとで、1ワーカーあたりのサンプル複雑度がO(ϵ⁻².⁵/N)の線形スループットを達成することを証明した。これは、アーキテクチャの並列性と非同期性がアクタ・クリティック強化学習において理論的に優位であることを裏付ける。

ABSTRACT

Asynchronous and parallel implementation of standard reinforcement learning (RL) algorithms is a key enabler of the tremendous success of modern RL. Among many asynchronous RL algorithms, arguably the most popular and effective one is the asynchronous advantage actor-critic (A3C) algorithm. Although A3C is becoming the workhorse of RL, its theoretical properties are still not well-understood, including the non-asymptotic analysis and the performance gain of parallelism (a.k.a. speedup). This paper revisits the A3C algorithm with TD(0) for the critic update, termed A3C-TD(0), with provable convergence guarantees. With linear value function approximation for the TD update, the convergence of A3C-TD(0) is established under both i.i.d. and Markovian sampling. Under i.i.d. sampling, A3C-TD(0) obtains sample complexity of O(ϵ−2.5/N) per worker to achieve ϵ accuracy, where N is the number of workers. Compared to the best-known sample complexity of O(ϵ−2.5) for two-timescale AC, A3C-TD(0) achieves \emph{linear speedup}, which justifies the advantage of parallelism and asynchrony in AC algorithms theoretically for the first time. Numerical tests on synthetically generated instances and OpenAI Gym environments have been provided to verify our theoretical analysis.

研究の動機と目的

• アクタ・クリティック強化学習におけるTD(0)を用いたA3Cアルゴリズムの非漸近的収束解析を提供すること。
• 非同期アクタ・クリティック手法における並列化の性能向上について理論的保証を確立すること。
• i.i.d.およびマコビアン（マルコフ連鎖）サンプリングの仮定の下でのA3C-TD(0)のサンプル複雑度を分析すること。
• 合成環境およびOpenAI Gym環境における数値実験を通じて理論的予測を検証すること。

提案手法

• 著者たちは、価値関数の更新にTD(0)を用いた非同期アドバンテージアクタ・クリティックアルゴリズムA3C-TD(0)を分析した。
• クリティックの線形価値関数近似を採用することで、理論的解析が容易になった。
• 確率的近似理論を用いて、i.i.d.およびマコビアン（マルコフ連鎖）サンプリングの両仮定のもとで収束を証明した。
• i.i.d.サンプリング下で、ϵ-精度に到達するためのサンプル複雑度がO(ϵ⁻².⁵/N)であると導出した。
• A3C-TD(0)と2段階タイムスケールアクタ・クリティックの比較を通じて、ワーカー数に比例する線形スループットを示した。
• 理論的予測の妥当性を検証するため、合成インスタンスおよびOpenAI Gym環境で数値実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 A3C-TD(0)はi.i.d.サンプリングのもとで非漸近的保証のもとで収束するか？
• RQ2 A3C-TD(0)のサンプル複雑度は、精度ϵとワーカー数Nの観点からどのように表されるか？
• RQ3 A3C-TD(0)は、集中型の2段階タイムスケールアクタ・クリティック手法と比較して線形スループットを示すか？
• RQ4 i.i.d.サンプリングとマコビアン（マルコフ連鎖）サンプリングの下でのA3C-TD(0)の性能はどのように異なるか？
• RQ5 理論的サンプル複雑度は、制御された環境および現実世界の環境で実証的に検証可能か？

主な発見

• A3C-TD(0)は、i.i.d.サンプリングのもとで、1ワーカーあたりのサンプル複雑度がO(ϵ⁻².⁵/N)で、ϵ-精度に到達する。
• このサンプル複雑度は、ワーカー数Nに反比例するため、線形スループットを示している。
• 線形スループットの結果は、非同期アクタ・クリティックアルゴリズムにおける並列化の性能優位性を初めて理論的に裏付けるものである。
• 収束保証は、i.i.d.およびマコビアン（マルコフ連鎖）サンプリングの両方の仮定のもとで成立し、解析の適用範囲が拡張された。
• 合成環境およびOpenAI Gym環境における数値結果は、サンプル効率性とスループットに関する理論的予測を確認した。