[論文レビュー] A Framework for Sequential Planning in Multi-Agent Settings

Prashant Doshi, Piotr J. Gmytrasiewicz|arXiv (Cornell University)|Sep 9, 2011

Reinforcement Learning in Robotics参考文献 48被引用数 365

ひとこと要約

本稿では、環境状態および他のエージェントのモデル（それらの信念や好みを含む）に関する信念を保持する、マルチエージェントシステムにおける逐次計画の意思決定理論的枠組みであるインタラクティブPOMDP（I-POMDP）を導入する。POMDPを、入れ子になった再帰的信念を含むように拡張することにより、収束性、値関数の線形区分的凸性、および凸性を保ちながら、不確実性下での最適意思決定を可能にする。これは、非一意性や不完全性の問題を避けるナッシュ均衡の代替として、より表現力に富んだものである。

ABSTRACT

This paper extends the framework of partially observable Markov decision processes (POMDPs) to multi-agent settings by incorporating the notion of agent models into the state space. Agents maintain beliefs over physical states of the environment and over models of other agents, and they use Bayesian updates to maintain their beliefs over time. The solutions map belief states to actions. Models of other agents may include their belief states and are related to agent types considered in games of incomplete information. We express the agents autonomy by postulating that their models are not directly manipulable or observable by other agents. We show that important properties of POMDPs, such as convergence of value iteration, the rate of convergence, and piece-wise linearity and convexity of the value functions carry over to our framework. Our approach complements a more traditional approach to interactive settings which uses Nash equilibria as a solution paradigm. We seek to avoid some of the drawbacks of equilibria which may be non-unique and do not capture off-equilibrium behaviors. We do so at the cost of having to represent, process and continuously revise models of other agents. Since the agents beliefs may be arbitrarily nested, the optimal solutions to decision making problems are only asymptotically computable. However, approximate belief updates and approximately optimal plans are computable. We illustrate our framework using a simple application domain, and we show examples of belief updates and value functions.

研究の動機と目的

• 不確実性を伴うマルチエージェント環境における逐次的意思決定の規範的枠組みの構築を目的とする。
• POMDPを、他のエージェントのモデル（それらの信念や好みを含む）に関するエージェントの信念を組み込むことで拡張することを目的とする。
• 非一意性や不完全性といったナッシュ均衡の限界を、信念に基づく最適反応アプローチによって解消することを目的とする。
• インタラクティブな信念を、入れ子になった階層的構造として形式化し、ベイズ推論を用いて更新することを目的とする。
• POMDPの主要な性質—例えば値関数の凸性や値反復の収束性—がマルチエージェント設定に持ち越されるかどうかを検証することを目的とする。

提案手法

• 状態空間に物理状態と他のエージェントのモデルを含むI-POMDPをPOMDPの拡張として提案する。
• エージェントが自らおよび他のエージェントのタイプ、好み、信念に関する信念をモデル化し、任意の入れ子構造を持つインタラクティブな信念を可能にする。
• 観測と行動に基づいて、ベイズ更新を再帰的に適用することで信念を更新し、POMDPの信念更新を一般化する。
• 解を信念状態から行動への写像として定義し、動的計画法および値反復を用いて値関数を計算する。
• 無限の入れ子構造に対する計算可能な近似として、有限にネストされたI-POMDPを導入し、実用的な計算を可能にする。
• アルファベクトルと内積を用いて、線形区分的かつ凸な値関数を表現・計算する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、どのようにして他のエージェントのモデル（それらの信念や好みを含む）に関する信念を、再帰的かつ階層的な形で維持・更新できるか？
• RQ2 インタラクティブな信念を含むマルチエージェント設定において、POMDPの収束性、線形区分的凸性、および値関数の凸性が保たれるか？
• RQ3 無限にネストされた信念を維持する際の計算的トレードオフは何か？ そして、それらを効果的に近似する方法は何か？
• RQ4 I-POMDPフレームワークは、従来のPOMDPおよびナッシュ均衡の解法と比べて、解の品質と表現力においてどのように異なるか？
• RQ5 I-POMDPの解はどのような条件下で収束し、その収束速度はどの程度か？

主な発見

• I-POMDPにおける値反復アルゴリズムは、縮小写像定理により、一意の固定点に収束することが証明された。
• 有限にネストされたI-POMDPにおける値関数は、線形区分的かつ凸（PWLC）である。これは、POMDPの重要な性質を一般化したものである。
• I-POMDPにおける信念更新は、POMDPの更新の一般化であり、他のエージェントのモデルに関する信念を統合している。
• エージェントを合理的で自己利益志向の行動者としてモデル化し、再帰的信念を組み込むことで、不確実性下での最適意思決定が可能になる。
• 正確な解が無限のネストのため漸近的にしか計算できないものの、近似された信念更新と近似的に最適な計画は、計算可能である。
• I-POMDPフレームワークは、標準的なPOMDPよりもマルチエージェント設定で優れた性能を示し、非均衡行動を捉え、他者の行動をよりよく予測可能にする。