[論文レビュー] Mixed Integer Linear Programming For Exact Finite-Horizon Planning In Decentralized Pomdps

Raghav Aras, Alain Dutech+1 more|arXiv (Cornell University)|Jul 17, 2007

Game Theory and Applications参考文献 12被引用数 27

ひとこと要約

本稿では、木形式ではなく逐次形式でエージェント方策を表現することにより、有限時限の非協力的部分的に観測可能なマルコフ意思決定過程（Dec-POMDP）を正確に解くための混合整数線形計画法（MILP）アプローチを提案する。この手法により、組み合わせ最適化の形式がコンパクトに表現可能となり、前例となるアルゴリズムと比較して著しい高速化が達成された。4ステップのマルチエージェントテイガー問題を72秒で解いたのに対し、従来の手法では数時間かかっていた。小規模から中規模の問題において優れたスケーラビリティを示している。

ABSTRACT

We consider the problem of finding an n-agent joint-policy for the optimal finite-horizon control of a decentralized Pomdp (Dec-Pomdp). This is a problem of very high complexity (NEXP-hard in n >= 2). In this paper, we propose a new mathematical programming approach for the problem. Our approach is based on two ideas: First, we represent each agent's policy in the sequence-form and not in the tree-form, thereby obtaining a very compact representation of the set of joint-policies. Second, using this compact representation, we solve this problem as an instance of combinatorial optimization for which we formulate a mixed integer linear program (MILP). The optimal solution of the MILP directly yields an optimal joint-policy for the Dec-Pomdp. Computational experience shows that formulating and solving the MILP requires significantly less time to solve benchmark Dec-Pomdp problems than existing algorithms. For example, the multi-agent tiger problem for horizon 4 is solved in 72 secs with the MILP whereas existing algorithms require several hours to solve it.

研究の動機と目的

• 有限時限のDec-POMDP計画のNEXP-hardな複雑性に対処し、よりスケーラブルな正確な解法を構築すること。
• 木形式による方策表現に内在する指数的爆発を回避するため、逐次形式表現を用いること。
• 結合方策最適化問題を、コンパクトでスパースな制約を持つ混合整数線形計画問題（MILP）として定式化すること。
• MILP定式化が、既存の正確なアルゴリズムよりも最適な決定的結合方策の計算を著しく高速に可能にすることを示すこと。
• 長時間スケールや大規模なDec-POMDP問題における近似アルゴリズムの構築要素として、この正確な手法を基盤とする。

提案手法

• 各エージェントの決定的方策を、行動-観測シーケンスの部分集合（逐次形式）として表現することで、時限の関数としての表現サイズを、二重指数的から指数的へと削減する。
• これらのシーケンス集合上の組み合わせ最適化タスクとして、結合方策選択問題を定式化する。
• バイナリ変数を用いて方策シーケンスの選択を符号化し、信念更新および遷移ダイナミクスと整合性を保つ制約を設けることで、混合整数線形計画問題（MILP）を構築する。
• スパースな制約行列を用いることで、指数的サイズのシーケンス集合を含む問題に対しても、現代のMILPソルバを介して効率的な解法時間を実現する。
• MILP定式化段階で支配されるシーケンスを削除するためのプルーニング技術を適用し、計算効率を向上させる。
• 動的計画法を用いて、時限κから後ろ向きに段階的にシーケンス集合を生成することで、全列挙を回避し、より長い時限へのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 木形式表現と比較して、逐次形式方策表現が正確なDec-POMDP計画の計算複雑性を低減できるか？
• RQ2 Dec-POMDPにおける結合方策選択問題が、実用的な解法時間を有する混合整数線形計画問題として効果的にモデル化可能か？
• RQ3 提案されたMILPベースの手法が、PBDP や MAA* といった既存の正確なアルゴリズムを上回って、ベンチマーク用Dec-POMDP問題を解けるか？
• RQ4 ratcheting や価値関数近似を用いることで、MILPアプローチを長時間スケールの近似計画に拡張可能か？
• RQ5 動的計画法を用いて、長時間スケールのシーケンス集合を段階的に構築可能であり、無限時限問題への潜在的拡張が可能か？

主な発見

• MILPベースの手法は、4ステップのマルチエージェントテイガー問題を72秒で解いたのに対し、PBDPアルゴリズムでは数時間かかっていた。
• 時限5のMABC問題は、MILPアプローチで25秒で解かれたが、PBDPでは約10^5秒を要した。
• 逐次形式表現により、方策空間のサイズが木形式の二重指数的から逐次形式の指数的へと削減され、MILP定式化が実行可能になった。
• MILP制約行列はスパースであったため、指数的問題サイズにもかかわらず、高速な解法時間が達成された。
• 最適な決定的結合方策が得られ、有限時限のDec-POMDPでは常に存在が保証されている。確率的方策を用いる利点は観察されなかった。
• このアプローチは、長時間スケールのDec-POMDPにおける近似計画のラチェットとして強く有望であり、特に短時間スケールの最適方策が循環的または高価値である場合に有効である。