[論文レビュー] Tesseract: Tensorised Actors for Multi-Agent Reinforcement Learning

Anuj Mahajan, Mikayel Samvelyan+7 more|arXiv (Cornell University)|May 31, 2021

Lattice Boltzmann Simulation Studies被引用数 6

ひとこと要約

Tesseractは、共同行動マルチエージェント強化学習（MARL）における行動空間の指数的増大という課題に応えるために、連携行動価値関数をテンソルとしてモデル化するテンソル化フレームワークを提案する。このアプローチにより、低ランク分解を用いてエージェント間の相互作用を効率的に捉えることが可能になる。テンソル化ベルマン方程式を定式化し、PAC解析を活用することで、特に高次元行動空間における協調的エージェントの設定において、従来手法に比べて指数的サンプル効率の向上を達成する。

ABSTRACT

Reinforcement Learning in large action spaces is a challenging problem. Cooperative multi-agent reinforcement learning (MARL) exacerbates matters by imposing various constraints on communication and observability. In this work, we consider the fundamental hurdle affecting both value-based and policy-gradient approaches: an exponential blowup of the action space with the number of agents. For value-based methods, it poses challenges in accurately representing the optimal value function. For policy gradient methods, it makes training the critic difficult and exacerbates the problem of the lagging critic. We show that from a learning theory perspective, both problems can be addressed by accurately representing the associated action-value function with a low-complexity hypothesis class. This requires accurately modelling the agent interactions in a sample efficient way. To this end, we propose a novel tensorised formulation of the Bellman equation. This gives rise to our method Tesseract, which views the Q-function as a tensor whose modes correspond to the action spaces of different agents. Algorithms derived from Tesseract decompose the Q-tensor across agents and utilise low-rank tensor approximations to model agent interactions relevant to the task. We provide PAC analysis for Tesseract-based algorithms and highlight their relevance to the class of rich observation MDPs. Empirical results in different domains confirm Tesseract's gains in sample efficiency predicted by the theory.

研究の動機と目的

• 協調的マルチエージェント強化学習（MARL）における行動空間の指数的増大という問題に取り組む。これは、価値関数の表現やクライアントの訓練を困難にする。
• 価値ベース手法の制限（例：制限されたQ関数表現による部分最適な方策）とアクタークリティック手法の制限（例：遅れが生じるクライアントと低いサンプル効率）を克服する。
• 低ランクテンソル分解を通じて、正確でサンプル効率の高い連携行動価値関数のモデリングを可能にする、統一的かつ理論的裏付けのあるフレームワークを開発する。
• モデルベースTesseractアルゴリズムのためのPAC一般化バウンドを提供し、元のMDPダイナミクスを回復する際のサンプル複雑性の向上を示す。

提案手法

• Q関数を個々のエージェントの行動空間に対応するモードを持つ多次元テンソルとして表現するテンソル化ベルマン方程式を定式化する。
• Qテンソルを低ランクテンソル近似（例：Tucker分解やCP分解）を用いて分解することで、複雑性を低減しつつ関連するエージェント間相互作用をモデル化する。
• ニューラルネットワークアーキテクチャを介して低ランク構造を暗黙的に誘導するモデルフリーな変種を導入し、サンプル効率を向上させたディープMARLを実現する。
• モデルベースTesseractのPAC学習バウンドを導出する。サンプル複雑性が、内在的タスク次元Uとn体のエージェントに対してO(|U|^{n/2})のスケーリングを示す。
• 価値ベースおよびアクタークリティックMARLの両方の設定にテンソル分解を適用し、中央集権的訓練・分散実行（CTDE）を維持しながら低次元表現を保つ。
• 観測が豊富なMDPのためのフレームワークを導入し、遷移関数および報酬関数の低ランクテンソル近似を通じて連携ダイナミクスをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 連携Q関数のテンソル表現は、指数的増大する行動空間を伴う協調的MARLにおいて、よりサンプル効率の高い学習を可能にするか？
• RQ2 Qテンソルの低ランクテンソル近似は、価値ベースおよびアクタークリティカルMARLアルゴリズムの精度とサンプル効率をどのように向上させるか？
• RQ3 PACフレームワーク下で、Tesseractベースのモデルベースアルゴリズムを用いて、元のMDPダイナミクスを学習する際にどのような理論的保証を提供できるか？
• RQ4 多様なMARL環境において、Tesseractの性能は、最先端手法と比較してサンプル効率および収束性の面で優れているか？
• RQ5 テンソル分解のランクが、MARLにおけるモデル表現力とサンプル複雑性のトレードオフに与える影響は何か？

主な発見

• Tesseractは指数的サンプル効率の向上を達成し、PACバウンドにより、内在的タスク次元Uとn体のエージェントに対して、サンプル複雑性がO(|U|^{n/2})のスケーリングを示す。
• モデルベースTesseractアルゴリズムは、正確性および信頼性パラメータの多項式関数で表されるサンプル数を用いて、真の連携遷移関数および報酬関数を高い確率で回復する。
• 実験的評価において、Tesseractは、協調的ナビゲーションや捕食者・獲物タスクを含む複数のMARL環境で、最先端手法を上回るサンプル効率と最終的なパフォーマンスを達成する。
• Tesseractのモデルフリーな変種は、ニューラルネットワークを介して低ランク構造を暗黙的に誘導し、ベースラインと比較して効果的なディープMARLを実現する。
• Tesseractは、テンソル分解のランクを調整することで、近似精度と計算複雑性の間の自然なトレードオフを提供する。
• このフレームワークは、豊富な観測MDPにも適用可能であり、低次元特徴表現を用いて複雑なエージェント相互作用を効率的にモデル化できる。