[論文レビュー] MADiff: Offline Multi-agent Learning with Diffusion Models

Zhengbang Zhu, Minghuan Liu+6 more|arXiv (Cornell University)|May 27, 2023

Opinion Dynamics and Social Influence被引用数 5

ひとこと要約

MADiffは、複数のエージェントの協調的で最適化された軌道を同時に生成するために、アテンションベースの拡散モデルを用いた、初めての拡散モデルに基づくオフラインマルチエージェント強化学習フレームワークを提案する。このフレームワークは、分散実行と集中制御の両方を可能にするとともに、組み込みのチームメイトモデリングを実現する。ノイズ除去ステップ中に潜在空間内でのエージェント間アテンションを用いてエージェント間の依存関係をモデル化することで、多様なマルチエージェントタスクにおいて最先端の性能を達成する。

ABSTRACT

Offline reinforcement learning (RL) aims to learn policies from pre-existing datasets without further interactions, making it a challenging task. Q-learning algorithms struggle with extrapolation errors in offline settings, while supervised learning methods are constrained by model expressiveness. Recently, diffusion models (DMs) have shown promise in overcoming these limitations in single-agent learning, but their application in multi-agent scenarios remains unclear. Generating trajectories for each agent with independent DMs may impede coordination, while concatenating all agents' information can lead to low sample efficiency. Accordingly, we propose MADiff, which is realized with an attention-based diffusion model to model the complex coordination among behaviors of multiple agents. To our knowledge, MADiff is the first diffusion-based multi-agent learning framework, functioning as both a decentralized policy and a centralized controller. During decentralized executions, MADiff simultaneously performs teammate modeling, and the centralized controller can also be applied in multi-agent trajectory predictions. Our experiments demonstrate that MADiff outperforms baseline algorithms across various multi-agent learning tasks, highlighting its effectiveness in modeling complex multi-agent interactions. Our code is available at https://github.com/zbzhu99/madiff.

研究の動機と目的

• オフラインマルチエージェント強化学習において、独立した方策学習が協調性の欠如により一貫性のない行動を引き起こすという課題に対処すること。
• マルチエージェント軌道生成において、分散型方策と集中型制御の両方として機能する統合フレームワークを構築すること。
• 追加の推論コストなしに効果的なチームメイトモデリングを可能にするために、拡散モデルの生成能力を活用すること。
• オフラインRLにおける外挿誤差を克服するため、マルチエージェント学習をリターン条件付き軌道生成として定式化すること。
• 潜在空間内でのアテンション機構が、エージェント間の複雑で長距離に及ぶ相互作用を効果的にモデル化できるかを示すこと。

提案手法

• MADiffは、期待リターンを条件として用いた拡散モデルを用いてマルチエージェント軌道を生成し、問題を条件付き生成モデル化タスクとして扱う。
• 各ノイズ除去ステップにおいて、エージェント間の潜在埋め込みに作用するアテンション機構を導入し、情報交換と協調を可能にする。
• モデルは、共同軌道とリターンラベルを含むオフラインデータセット上で集中的に学習され、エキスパートのデモンストレーションから協調的行動を捉える。
• 推論段階では、低温度サンプリングを用いた分類器フリー・ガイドランスにより、高リターンの軌道が生成され、予測されたチームメイト行動を伴った分散実行が可能になる。
• このフレームワークは、分散型方策推論と集中型軌道予測の両方をサポートし、1つのアーキテクチャで複数の役割を統合する。
• パラメータ共有を用いることで、モデルの複雑さを低減しながらも性能を維持することを検討した。

実験結果

リサーチクエスチョン

• RQ1 オンライン相互作用なしに、拡散モデルがオフラインマルチエージェント強化学習においてマルチエージェント行動を効果的に協調可能か。
• RQ2 潜在空間内でのアテンション機構が、軌道生成段階におけるエージェント間の協調性をどのように向上させるか。
• RQ3 提案フレームワークは、協調性とリターン最大化の観点で、既存のオフラインマルチエージェントRLベースラインをどの程度上回るか。
• RQ4 同じモデルが、組み込みのチームメイトモデリングを備えた分散型方策と集中型コントローラーの両方として機能可能か。
• RQ5 高いデータの混同と複雑な協調タスクの下で、モデルの性能はどの程度維持されるか。

主な発見

• MADiffは、オフライン強化学習および軌道予測を含む多様なマルチエージェント学習タスクにおいて、ベースラインアルゴリズムを顕著に上回る性能を示した。
• アブレーションスタディの結果、エージェント間アテンションが協調性に不可欠であることが確認され、特に『World』のような複雑なタスクでは、独立した拡散モデルと比べてMADiff-Dが大幅に優れた性能を発揮した。
• エージェント間の計画軌道の整合性比は時間経過とともに上昇し、実際のロールアウトの整合性水準を上回った。これは、効果的なチームメイトモデリングと予測の動的補正が行われていることを示している。
• 高い混同状態下でも強力な性能を発揮し、データの混同や複雑な協調要件に対してもロバストであることが示された。
• U-Netバックボーンにおけるパラメータ共有は性能を低下させず、モデルサイズを削減した。その結果、MADiff-D-Shareが推奨されるデフォルト構成となった。
• 可視化結果から、MADiffはロールアウト中に不一致なチームメイトの軌道予測を動的に補正し、グローバルに一貫性のある行動を生成していることがわかった。