[論文レビュー] Compact Mathematical Programs For DEC-MDPs With Structured Agent Interactions

Hala Mostafa, Victor Lesser|arXiv (Cornell University)|Feb 14, 2012

Auction Theory and Applications参考文献 11被引用数 4

ひとこと要約

本稿では、構造的エージェント相互作用を伴う分散型MDP（DEC-MDP）に対して、特にイベント駆動型相互作用と複雑な報酬（EDI-CR）を対象として、コンパクトな整数線形計画法（MILP）定式化を提案する。特定のエージェントに対して、多くの行動シーケンスが同一の効果を持つことに着目し、変数の数を削減することで、解法の効率を向上させ、従来の定式化と比較して計算が高速化され、最適性保証も向上する。

ABSTRACT

To deal with the prohibitive complexity of calculating policies in Decentralized MDPs, researchers have proposed models that exploit structured agent interactions. Settings where most agent actions are independent except for few actions that affect the transitions and/or rewards of other agents can be modeled using Event-Driven Interactions with Complex Rewards (EDI-CR). Finding the optimal joint policy can be formulated as an optimization problem. However, existing formulations are too verbose and/or lack optimality guarantees. We propose a compact Mixed Integer Linear Program formulation of EDI-CR instances. The key insight is that most action sequences of a group of agents have the same effect on a given agent. This allows us to treat these sequences similarly and use fewer variables. Experiments show that our formulation is more compact and leads to faster solution times and better solutions than existing formulations.

研究の動機と目的

• マルチエージェントシステムにおける分散型MDP（DEC-MDP）を解く際の計算量の膨大さに対処すること。
• 従来の数理定式化には、冗長であるか、最適性保証がないという限界があるため、それを克服すること。
• 多くの行動が独立しているが、少数の行動のみが連携遷移や報酬に影響を与えるような、構造的エージェント相互作用をモデル化すること。
• EDI-CRインスタンス用に、コンパクトで最適性保証のあるMILP定式化を開発すること。
• 従来の定式化と比較して、解法時間とスケーラビリティを向上させること。

提案手法

• 特定の行動が連携効果を引き起こすことを特徴とする、イベント駆動型相互作用と複雑な報酬（EDI-CR）を用いてエージェント相互作用をモデル化する。
• あるターゲットエージェントに同一の効果をもたらすエージェントの行動シーケンスをグループ化し、それらを同等とみなして変数の数を削減する。
• 集約された状態-行動効果を用いて、連携方策探索を整数線形計画法（MILP）として定式化する。
• 同等の行動シーケンスグループの選択を表すためにバイナリ変数を導入し、必要な変数数を最小限に抑える。
• 対称性と同値類を用いて、方策空間を圧縮しながら最適性を保持する。
• すべての関連する状態遷移と報酬構造を保持することで、定式化が正確であり、最適解を保証することを保証する。

実験結果

リサーチクエスチョン

• RQ1 最適性を失わず、変数数を削減できるED-CR DEC-MDP用のコンパクトなMILP定式化を開発できるか？
• RQ2 エージェント行動シーケンスの共有効果を活用することで、連携方策探索における計算効率がどのように向上するか？
• RQ3 提案手法の定式化は、従来の定式化と比較して、解法時間とスケーラビリティの面でどの程度優れているか？
• RQ4 問題サイズを顕著に削減しながらも、最適性保証を維持できるか？
• RQ5 同等の行動シーケンスのグループ化が、構造的DEC-MDPの解法可能性にどのような影響を与えるか？

主な発見

• 提案されたMILP定式化は、従来の定式化と比較して、変数数の顕著な削減を達成した。
• 実験評価では、ベンチマークED-CRインスタンス上で、コンパクトな定式化が解法時間を短縮した。
• 一部の従来手法とは異なり、本手法は最適性保証を維持しており、コンパクトさを追求するあまり最適性を犠牲にしない。
• 実験により、従来の定式化と比較して、解の質とスケーラビリティの両面で優れた結果が得られた。
• 行動シーケンスを同一効果を持つものとしてグループ化するという核心的洞察が、方策探索空間の大幅な圧縮を可能にした。
• 相互作用に依存する複雑な報酬構造を含む問題に対しても、本定式化は有効であることが示された。