[論文レビュー] Multiagent Rollout Algorithms and Reinforcement Learning

Dimitri P. Bertsekas|arXiv (Cornell University)|Sep 30, 2019

Reinforcement Learning in Robotics参考文献 7被引用数 23

ひとこと要約

本稿は、各エージェントが自身のポリシーと他のエージェントからの協調情報を利用して、個別に1ステップ先読みを行うアルゴリズムを導入する。標準のロールアウトと同様にコスト改善性を保ちながら、エージェント数に線形に増加する計算量に抑えることで、計算量を指数関数的から線形に削減する。この手法により、有限および無限時間の問題においてスケーラブルかつ並列処理可能な解法が可能になる。

ABSTRACT

We consider finite and infinite horizon dynamic programming problems, where the control at each stage consists of several distinct decisions, each one made by one of several agents. We introduce an approach, whereby at every stage, each agent's decision is made by executing a local rollout algorithm that uses a base policy, together with some coordinating information from the other agents. The amount of local computation required at every stage by each agent is independent of the number of agents, while the amount of total computation (over all agents) grows linearly with the number of agents. By contrast, with the standard rollout algorithm, the amount of total computation grows exponentially with the number of agents. Despite the drastic reduction in required computation, we show that our algorithm has the fundamental cost improvement property of rollout: an improved performance relative to the base policy. We also discuss possibilities to improve further the method's computational efficiency through limited agent coordination and parallelization of the agents' computations. Finally, we explore related approximate policy iteration algorithms for infinite horizon problems, and we prove that the cost improvement property steers the algorithm towards convergence to an agent-by-agent optimal policy.

研究の動機と目的

• エージェント数の増加に伴い制御空間が指数関数的に増大するマルチエージェントシステムにおける、標準ロールアウトの計算不能性に対処すること。
• 計算量を大幅に削減しながら、コスト改善性を維持するスケーラブルな標準ロールアウトの代替手法を開発すること。
• 各エージェントの意思決定を独立させつつ、共有情報による協調性を保つことで、マルチエージェント動的計画法における効率的かつ並列処理可能な計算を可能にすること。
• エージェント別ポリシー反復を用いて、無限時間問題へとこの手法を拡張し、エージェント別最適ポリシーへの収束を証明すること。
• 複雑度を低減させつつ、ニューラルネットワークや近似手法をマルチエージェント強化学習に統合する基盤を提供すること。

提案手法

• 各エージェントが全体の制御ベクトルの一部を制御するマルチエージェント問題の定式化を導入。個々の制御集合と状態依存制約を含む。
• エージェント別ロールアウトアルゴリズムを提案：各段階で、各エージェントが自身のポリシーと他のエージェントからの協調情報を使って1ステップ先読みを行う。
• 各エージェントごとの局所的Qファクターを計算：$ Q_{k,\text{loc}}(x_k, u_k^\nu) = \mathbb{E}\left[ g_k(x_k, u_k, w_k) + J_{k+1,\pi}(f_k(x_k, u_k, w_k)) \right] $ はエージェントごとに独立して計算される。
• ロールアウトステップをデカップルすることで、各エージェントの意思決定が自身の制御と他のエージェントからの協調信号にのみ依存するようにし、エージェント数に線形に増加する計算量に抑える。
• オプティミスティック値反復と局所的ポリシー改善ステップを用いて、無限時間問題にエージェント別ポリシー反復を適用する。
• 関数近似を可能にするために、状態-ロールアウト制御ペアから訓練データを生成し、ニューラルネットワークがロールアウトポリシーを近似するように訓練する。

実験結果

リサーチクエスチョン

• RQ1 標準ロールアウトが持つコスト改善性を維持しつつ、計算複雑度を削減できるマルチエージェントロールアウトアルゴリズムを設計できるか？
• RQ2 計算量を削減しているにもかかわらず、エージェント別ロールアウトが標準ロールアウトと同等の性能向上を達成できるか？
• RQ3 エージェント別アプローチは、収束保証のもとで無限時間問題へと拡張可能か？
• RQ4 エージェント数の増加に伴うスケーリング特性は何か？並列処理および分散実装へのインパクトは？
• RQ5 この手法は、大規模または連続状態空間の問題に適した関数近似技術（例：ニューラルネットワーク）と組み合わせ可能か？

主な発見

• エージェント別ロールアウトアルゴリズムは、根本的なコスト改善性を保っている：すべての状態と段階において $ J_{k,\tilde{\pi}}(x_k) \leq J_{k,\pi}(x_k) $ を満たし、ベースポリシーに対する性能向上を保証する。
• 計算量はエージェント数に線形に増加するが、標準ロールアウトとは異なり指数関数的に増加しない。このため、大規模マルチエージェントシステムへのスケーラビリティが実現される。
• 各エージェントの計算が独立しているため、並列処理が効率的に可能である。
• 無限時間問題に対しては、エージェント別ポリシー反復アルゴリズムが、エージェント別最適ポリシーへ収束することが示された（命題4.1）。
• 関数近似との統合が可能であり、例えば状態-ロールアウト制御ペアから得られるデータを用いてニューラルネットワークを訓練することで、大規模または連続状態空間への応用が可能になる。
• エージェント別ロールアウトは、再定式化された問題に標準ロールアウトを適用したものと等価であるため、標準ロールアウトに知られている理論的結果や誤差境界が、再定式化された形で適用可能である。