[論文レビュー] Sample and Communication-Efficient Decentralized Actor-Critic Algorithms with Finite-Time Analysis

Ziyi Chen, Yi Zhou+2 more|arXiv (Cornell University)|Sep 8, 2021

Reinforcement Learning in Robotics参考文献 58被引用数 4

ひとこと要約

本稿では、エージェントがノイズの多い報酬のみを共有し、ミニバッチの局所的方策勾配を使用することで、サンプル効率および通信効率の高い分散型アクタ・クリティック（AC）およびネイチャラルAC（NAC）アルゴリズムを提案する。マコフ連鎖のサンプリングと線形関数近似の下で、ACのための最新のサンプル複雑度$ olimits\mathcal{O}(\epsilon^{-2}\ln\epsilon^{-1})$とNACのための$ olimits\mathcal{O}(\epsilon^{-3}\ln\epsilon^{-1})$を達成し、通信複雑度を$ olimits\mathcal{O}(\epsilon^{-1}\ln\epsilon^{-1})$に改善しつつ、局所的行動や方策の共有を避けることでプライバシーを保持する。

ABSTRACT

Actor-critic (AC) algorithms have been widely adopted in decentralized multi-agent systems to learn the optimal joint control policy. However, existing decentralized AC algorithms either do not preserve the privacy of agents or are not sample and communication-efficient. In this work, we develop two decentralized AC and natural AC (NAC) algorithms that are private, and sample and communication-efficient. In both algorithms, agents share noisy information to preserve privacy and adopt mini-batch updates to improve sample and communication efficiency. Particularly for decentralized NAC, we develop a decentralized Markovian SGD algorithm with an adaptive mini-batch size to efficiently compute the natural policy gradient. Under Markovian sampling and linear function approximation, we prove the proposed decentralized AC and NAC algorithms achieve the state-of-the-art sample complexities $\mathcal{O}\big(ε^{-2}\ln(ε^{-1})\big)$ and $\mathcal{O}\big(ε^{-3}\ln(ε^{-1})\big)$, respectively, and the same small communication complexity $\mathcal{O}\big(ε^{-1}\ln(ε^{-1})\big)$. Numerical experiments demonstrate that the proposed algorithms achieve lower sample and communication complexities than the existing decentralized AC algorithm.

研究の動機と目的

• 局所的行動や方策の共有を避けることで、機微な局所情報の漏洩を防ぎつつ、サンプルおよび通信効率の高い分散型アクタ・クリティックアルゴリズムを開発すること。
• 中央集権的なフィッシャー情報行列の逆行列計算を必要とせず、完全に分散型かつ計算的に実行可能である自然方策勾配の計算スキームを設計すること。
• 線形関数近似を用いたマコフ連鎖のサンプリング下で、有限時間収束保証を確立すること。
• 既存の分散型ACおよびNAC手法と比較して、より優れたサンプルおよび通信複雑度を達成すること。

提案手法

• プライバシーを保護するために、エージェントは生の局所的報酬、行動、または方策の代わりに、ノイズの多い報酬のみを共有する。
• サンプルおよび通信効率を向上させるために、ミニバッチ更新を用いて局所的方策勾配を計算する。
• NACバージョンにおける効率的な自然方策勾配計算のため、適応的ミニバッチサイズを用いた分散型マコフ連鎖の確率的勾配降下法（SGD）アルゴリズムを開発する。
• 価値関数および方策の線形関数近似を用いることで、マコフ連鎖のサンプリング下で理論的解析を可能にする。
• 期待される方策勾配ノルムとサブオプティマルティーガップの厳密な解析を通じて、有限時間収束を確立する。
• 中央集権的なフィッシャー情報行列の逆行列計算を避けるために、分散型で適応的バッチサイズを用いたスキームを用いる。

実験結果

リサーチクエスチョン

• RQ1 局所的行動や方策の共有を避けることで、サンプルおよび通信効率の高い分散型アクタ・クリティックアルゴリズムを設計できるか？
• RQ2 中央集権的なフィッシャー行列へのアクセスを必要とせず、自然方策勾配を効率的に計算できる完全に分散型のネイチャラルアクタ・クリティックアルゴリズムを開発できるか？
• RQ3 線形関数近似を用いたマコフ連鎖のサンプリング下で、分散型ACおよびNACアルゴリズムの有限時間サンプルおよび通信複雑度は何か？
• RQ4 提案されたアルゴリズムは、既存の分散型ACおよびNAC手法と比較して、収束速度および複雑度においてどのように異なるか？

主な発見

• 提案された分散型ACアルゴリズムは、$ olimits\mathbb{E}[\|\nabla J(\omega)\|^2] \leq \epsilon$を達成するためのサンプル複雑度$ olimits\mathcal{O}(\epsilon^{-2}\ln\epsilon^{-1})$を達成する。
• 分散型NACアルゴリズムは、$ olimits\mathbb{E}[J(\omega^*) - J(\omega)] \leq \epsilon$を達成するためのサンプル複雑度$ olimits\mathcal{O}(\epsilon^{-3}\ln\epsilon^{-1})$を達成する。
• 両アルゴリズムとも通信複雑度$ olimits\mathcal{O}(\epsilon^{-1}\ln\epsilon^{-1})$を達成し、既存の手法よりも改善されている。
• 数値実験では、提案アルゴリズムがDAC-RP1やDAC-RP100といった既存の分散型ACアルゴリズムと比較して、より速く収束し、より小さい関数値ギャップを達成することが示された。
• 性能差の要因は、過去の手法における不正確な平均化とは対照的に、より正確な報酬推定と低いTD誤差に起因する。
• 理論的解析により、マコフ連鎖のサンプリングと線形関数近似の下で有限時間収束が確認され、方策勾配およびサブオプティマルティーバインドが明示的に導出された。