[論文レビュー] Stochastic Optimal Control in Continuous Space-Time Multi-Agent Systems

Wim Wiegerinck, Bart van den Broek+1 more|arXiv (Cornell University)|Jun 27, 2012

Bayesian Modeling and Causal Inference参考文献 6被引用数 11

ひとこと要約

本稿は、連続的空間時間マルチエージェントシステムへの確率的最適制御理論の拡張を試み、非相互作用エージェントがターゲットに分布する場合の最適制御が、終端コストで重み付けされた単一エージェント制御の組み合わせとして簡略化されることを示している。主な貢献は、計算コストが割り当てグラフの木幅にしか指数的に依存しないスケーラブルな手法であり、最大42エージェントのシミュレーションを可能にしている。

ABSTRACT

Recently, a theory for stochastic optimal control in non-linear dynamical systems in continuous space-time has been developed (Kappen, 2005). We apply this theory to collaborative multi-agent systems. The agents evolve according to a given non-linear dynamics with additive Wiener noise. Each agent can control its own dynamics. The goal is to minimize the accumulated joint cost, which consists of a state dependent term and a term that is quadratic in the control. We focus on systems of non-interacting agents that have to distribute themselves optimally over a number of targets, given a set of end-costs for the different possible agent-target combinations. We show that optimal control is the combinatorial sum of independent single-agent single-target optimal controls weighted by a factor proportional to the end-costs of the different combinations. Thus, multi-agent control is related to a standard graphical model inference problem. The additional computational cost compared to single-agent control is exponential in the tree-width of the graph specifying the combinatorial sum times the number of targets. We illustrate the result by simulations of systems with up to 42 agents.

研究の動機と目的

• 非線形ダイナミクスと加法的ウィーナー雑音を有する連続的空間時間マルチエージェントシステムに対する確率的最適制御フレームワークの構築を目的とする。
• 状態に依存する項と制御の2次項を含む共同コスト最小化の下での最適マルチエージェント協調問題を扱うことを目的とする。
• 複数のターゲットに分布する非相互作用エージェントの最適制御方策の効率的計算を可能とすることを目的とする。
• 計算の実行可能性を確保するため、マルチエージェント最適制御を標準的なグラフィカルモデル推論問題に関連付けること。

提案手法

• 著者らは、2005年のKappenの確率的最適制御理論を、加法的ウィーナー雑音を伴う連続的空間時間ダイナミクスに適用している。
• 各エージェントは自らのダイナミクスを制御し、時間経過に伴って状態に依存する項と2次的制御コストを含む共同コストを最小化する。
• 最適制御方策は、エージェント-ターゲットペアの終端コストで重み付けされた独立した単一エージェント制御の組み合わせとして導出される。
• 本手法は割り当てグラフの構造を活用し、計算コストはグラフの木幅に指数的に依存し、ターゲット数に線形に依存する。
• アプローチによりマルチエージェント問題が標準的なグラフィカルモデル推論問題に還元され、動的計画法や信念伝播による効率的解法が可能になる。
• シミュレーションにより、最大42エージェントのシステムにおいて本手法の有効性が検証され、スケーラビリティと最適性が示された。

実験結果

リサーチクエスチョン

• RQ1 非線形ダイナミクスと加法的ノイズを有する連続的空間時間マルチエージェントシステムへの確率的最適制御の拡張方法は何か？
• RQ2 このようなシステムにおける最適マルチエージェント制御の計算複雑性は何か？ また、その複雑性を最小化する方法は？
• RQ3 複数エージェントの最適制御方策は、単一エージェント制御の組み合わせとして分解可能か？
• RQ4 割り当てグラフの木幅がマルチエージェント制御問題の計算コストに与える影響は？
• RQ5 標準的なグラフィカルモデル推論技術は、マルチエージェント確率的最適制御にどの程度適用可能か？

主な発見

• 非相互作用エージェントの最適制御方策は、対応する終端コストで重み付けされた独立した単一エージェント制御の組み合わせである。
• 本手法の計算コストは、エージェント-ターゲット割り当てを指定するグラフの木幅にしか指数的に依存せず、エージェント数に依存しない。
• 本手法により、最大42エージェントのシステムに対しても最適制御が可能であることが、シミュレーションで確認された。
• 問題は標準的なグラフィカルモデル推論タスクに還元され、既存の推論アルゴリズムの利用が可能になる。
• 2次的制御コストと状態に依存する終端コストは、経路積分形式によりバランスされ、最適方策への収束が保証される。
• 本フレームワークは、ダイナミクスの連続的空間時間性を保持しつつ、スケーラブルなマルチエージェント協調を可能にする。