[論文レビュー] Distributed Planning in Hierarchical Factored MDPs

Carlos Guestrin, Geoffrey J. Gordon|arXiv (Cornell University)|Dec 12, 2012

Reinforcement Learning in Robotics参考文献 23被引用数 57

ひとこと要約

本稿では、階層的因子分解マルコフ決定過程（MDP）における分散計画アルゴリズムを提示し、局所的計算を通じて複数エージェントが協働して大規模な計画問題を解決できるようにする。エージェントのサブシステムを階層的に構造化し、局所的線形計画法を用いたメッセージ渡しを行うことで、中央集権的調整を必要とせず、グローバルな整合性を達成する。サブシステムに構造的類似性がある場合に顕著にスケーラビリティと再利用性が向上する。

ABSTRACT

We present a principled and efficient planning algorithm for collaborative multiagent dynamical systems. All computation, during both the planning and the execution phases, is distributed among the agents; each agent only needs to model and plan for a small part of the system. Each of these local subsystems is small, but once they are combined they can represent an exponentially larger problem. The subsystems are connected through a subsystem hierarchy. Coordination and communication between the agents is not imposed, but derived directly from the structure of this hierarchy. A globally consistent plan is achieved by a message passing algorithm, where messages correspond to natural local reward functions and are computed by local linear programs; another message passing algorithm allows us to execute the resulting policy. When two portions of the hierarchy share the same structure, our algorithm can reuse plans and messages to speed up computation.

研究の動機と目的

• 複雑な状態空間を有する大規模マルチエージェントシステムにおけるスケーラブルな計画の課題に取り組む。
• 各エージェントが自身の局所的サブシステムのみを計画することで、計算負荷を軽減する分散計算を可能にする。
• 中央集権的調整や明示的な通信プロトコルを必要とせず、計画におけるグローバルな整合性を達成する。
• 階層的構造を活用して、類似したサブシステム間で計画とメッセージの再利用を可能にし、効率を向上させる。
• 実行段階で整合性を維持する第二のメッセージ渡しメカニズムを通じて、得られた方策の実行を支援する。

提案手法

• マルチエージェントシステムを階層的因子分解MDPとしてモデル化し、グローバル問題をより小さな管理可能な局所的サブシステムに分解する。
• 局所的線形計画法を用いて、自然な局所的報酬関数を表すメッセージを計算し、最適方策の分散計算を可能にする。
• 階層構造上でメッセージ渡しアルゴリズムを適用し、エージェント間での計画を調整し、グローバルな整合性を確保する。
• 協調や通信を、階層的構造から暗黙的に導出することで、強制的な協調ルールを回避する。
• 同一または類似したサブシステム構造が再利用された場合には、事前に計算済みの計画とメッセージを再利用し、計算を加速する。
• 第二のメッセージ渡しフェーズを用いて、方策を階層構造に沿って一貫して伝搬させることで、結果の方策を実行する。

実験結果

リサーチクエスチョン

• RQ1 大規模マルチエージェント計画問題を、分散計算を用いてどのように効率的に解けるか。
• RQ2 中央集権的調整や明示的な通信プロトコルを必要とせず、計画におけるグローバルな整合性を達成できるか。
• RQ3 サブシステム間の構造的類似性をどの程度活用して計算効率を向上させられるか。
• RQ4 階層的因子分解MDPにおける局所的計画をどのように調整すれば、グローバルに最適または近似的に最適な方策が得られるか。
• RQ5 計画と実行の両方が分散型で行われる仕組みは何か。また、エージェント間で整合性を維持するにはどうすればよいか。

主な発見

• アルゴリズムは、中央集権的調整を必要とせず、階層構造上のメッセージ渡しにより計画におけるグローバルな整合性を達成する。
• 線形計画法による局所的計算により、指数関数的に大きな状態空間を有するシステムでも、効率的かつスケーラブルな計画が可能になる。
• サブシステムが同一の構造的形態を持つ場合、事前に計算済みのメッセージと計画を再利用することで、重複計算を顕著に削減できる。
• メッセージが自然な局所的報酬関数を符号化するため、計画と実行の両方が完全に分散型で実現可能である。
• このアプローチは階層的因子分解MDPに基づく形式的基盤を有しており、マルチエージェントシステムにおける実用的スケーラビリティを示している。
• センサネットワークやロボットチームなどの実世界の問題に適用可能であり、非中央集権的かつスケーラブルな要件を満たす。