[論文レビュー] Locally Interdependent Multi-Agent MDP: Theoretical Framework for Decentralized Agents with Dynamic Dependencies

Alex DeWeese, Guannan Qu|arXiv (Cornell University)|Jun 10, 2024

Multi-Agent Systems and Negotiation被引用数 4

ひとこと要約

本稿では、動的で近接性に基づく依存関係を有する分散型マルチエージェントシステムのための理論的枠組みであるローカルに依存するマルチエージェントMDPを提案する。3つの閉形式のポリシー（Amalgam、Cutoff、First Step Finite Horizon Optimal）を提案し、近似的に最適な性能を達成する。可視半径が増加するにつれて、部分的に観測可能な分散型解の性能は、完全に観測可能な最適解に指数関数的に近づく。

ABSTRACT

Many multi-agent systems in practice are decentralized and have dynamically varying dependencies. There has been a lack of attempts in the literature to analyze these systems theoretically. In this paper, we propose and theoretically analyze a decentralized model with dynamically varying dependencies called the Locally Interdependent Multi-Agent MDP. This model can represent problems in many disparate domains such as cooperative navigation, obstacle avoidance, and formation control. Despite the intractability that general partially observable multi-agent systems suffer from, we propose three closed-form policies that are theoretically near-optimal in this setting and can be scalable to compute and store. Consequentially, we reveal a fundamental property of Locally Interdependent Multi-Agent MDP's that the partially observable decentralized solution is exponentially close to the fully observable solution with respect to the visibility radius. We then discuss extensions of our closed-form policies to further improve tractability. We conclude by providing simulations to investigate some long horizon behaviors of our closed-form policies.

研究の動機と目的

• 動的変化する依存関係を有する分散型マルチエージェントシステムの理論的分析の不足に対処する。
• 時変する依存関係および通信グラフを有するメトリック空間に基づくMDPを用いて、協調走行、障害物回避、フォーメーション制御などの実世界の応用をモデル化する。
• 可視範囲と相互作用範囲が限られた部分観測可能な分散型設定において、理論的裏付けがありスケーラブルなポリシーを開発する。
• 根本的な理論的性質を確立する：分散型ポリシーと完全に観測可能な最適ポリシーとの性能差は、可視半径が増加するにつれて指数関数的に減少する。
• 計算的に実行可能で実装可能な、証明可能な近似的に最適な閉形式解の枠組みを提供する。

提案手法

• エージェントが半径 $\mathcal{R}$ 内でのみ相互作用し、可視半径 $\mathcal{V}$ 内でのみ通信するローカルに依存するマルチエージェントMDPモデルを提案する。両者とも時間とともに動的に変化する。
• 3つの閉形式ポリシー（Amalgam、Cutoff、First Step Finite Horizon Optimal）を定義する。それぞれは部分観測下での期待累積報酬を最大化することを目的として設計されている。
• テレスコピック補題と報酬調整技術を用いて、提案ポリシーと最適集中型ポリシーとの間の性能差を評価する。
• 衝突ペナルティを含む決定的下界MDPを構築することで、いかなる分散型ポリシーも導出された上界を一定要因を超えて上回ることはできないことを証明する。
• 動的プログラミングと価値関数分解を用いて、部分観測下での理論的性能保証を導出する。
• ポリシーの変更を通じてスケーラビリティを向上させ、障害物回避、走行、フォーメーション制御のシミュレーションにより、長時間スケールの振るまいを検証する。

Figure 1: 3 agents moving in the space of $\mathcal{X}=\mathbb{R}^{2}$ with standard Euclidean distance. The bottom two agents potentially have an interdependent reward since they are within distance $\mathcal{R}$ of one another. Furthermore, every agent is within distance $\mathcal{V}$ of another a

実験結果

リサーチクエスチョン

• RQ1 動的変化する局所的依存関係と部分観測性を有する分散型マルチエージェントシステムを理論的にモデル化できるか？
• RQ2 このような分散型で部分観測可能な設定において、閉形式でスケーラブルなポリシーが近似的に最適な性能を達成できるか？
• RQ3 可視半径は、分散型と完全に観測可能な最適ポリシーとの性能差にどのように影響するか？
• RQ4 分散型マルチエージェント意思決定において、タイトで計算的に実行可能な理論的性能バウンドを確立できるか？
• RQ5 提案されたポリシーは、走行やフォーメーション制御といった実用的マルチエージェントタスクにおいて、長時間にわたってどのように振る舞うか？

主な発見

• Amalgam、Cutoff、First Step Finite Horizon Optimalポリシーは、最適集中型解の定数倍の理論的性能保証を達成する。
• 分散型ポリシーの性能は、完全に観測可能な最適ポリシーに指数関数的に近づき、性能差は $\frac{2}{1-\gamma}\gamma^{c+1}\tilde{r}$ で有界である。ここで $c = \lfloor(\mathcal{V} - \mathcal{R})/2\rfloor$ である。
• 下界構築により、いかなる分散型ポリシーも導出された上界を一定要因を超えて上回ることはできないことが証明され、近似的に最適性が確認された。
• 可視半径 $\mathcal{V}$ は性能差の指数的減少を制御する：可視半径が大きいほど、分散型性能が著しく向上する。
• 障害物回避、協調走行、フォーメーション制御におけるシミュレーションにより、理論的期待と整合的な安定した長時間スケールの振るまいが確認された。
• ポリシーへの拡張により、理論的性能保証を損なわずにスケーラビリティが向上し、複雑なシステムにおける実用的展開が可能になった。

Figure 2: Bullseye Problem: In red is the optimal policy with a discounted sum of rewards of $8.85$ . The top three in blue are Amalgam Policy rollouts with $\mathcal{V}=25$ , $\mathcal{\mathcal{missing}}V=35$ , $\mathcal{V}=45$ top to bottom. They have a total discounted reward of $6.74$ , $8.26$ ,