[論文レビュー] Optimal Coordinated Planning Amongst Self-Interested Agents with Private State

Ruggiero Cavallo, David C. Parkes+1 more|arXiv (Cornell University)|Jun 27, 2012

Auction Theory and Applications参考文献 15被引用数 42

ひとこと要約

本稿は、動的で不確実な環境下で私的状態を持つ自己中心的エージェント間における最適な協調的計画を可能にするインcentive-compatibleなメカニズムを提案する。マルコフ決定過程とギッティンズ指数を用いて、確率的ゲームの枠組みにより最適な連携戦略の分散計算を可能とし、マルコフ完全均衡を達成するとともに、マルチアームバンディット設定へと拡張する。

ABSTRACT

Consider a multi-agent system in a dynamic and uncertain environment. Each agent's local decision problem is modeled as a Markov decision process (MDP) and agents must coordinate on a joint action in each period, which provides a reward to each agent and causes local state transitions. A social planner knows the model of every agent's MDP and wants to implement the optimal joint policy, but agents are self-interested and have private local state. We provide an incentive-compatible mechanism for eliciting state information that achieves the optimal joint plan in a Markov perfect equilibrium of the induced stochastic game. In the special case in which local problems are Markov chains and agents compete to take a single action in each period, we leverage Gittins allocation indices to provide an efficient factored algorithm and distribute computation of the optimal policy among the agents. Distributed, optimal coordinated learning in a multi-agent variant of the multi-armed bandit problem is obtained as a special case.

研究の動機と目的

• 私的局所状態を持つ自己中心的エージェント間での最適な連携計画を可能にするメカニズムの設計。
• インcentive compatibility を確保することで、エージェントが私的状態を真実に報告することを保証する。
• 誘発された確率的ゲームのマルコフ完全均衡において最適な連携戦略を達成する。
• 局所問題がマルコフ連鎖である場合に、効率的で要因分解可能なアルゴリズムを用いて最適戦略の分散計算を実現する。
• マルチエージェント・マルチアームバンディット問題へとフレームワークを拡張し、分散的で最適な協調学習を可能にする。

提案手法

• 各エージェントの局所的意思決定問題を、私的状態を有するマルコフ決定過程（MDP）としてモデル化する。
• 動的ベイズ的インセンティブを用いて真実の状態報告を促すインcentive-compatibleなメカニズムを設計する。
• 特別なケースとしてマルコフ連鎖が成り立つ場合に、ギッティンズ割り当て指数を用いて協調問題を効率的に解く。
• 相互作用をモデル化し、マルコフ完全均衡の存在を証明するため、確率的ゲームの枠組みを用いる。
• ギッティンズ指数を用いて要因分解することで、エージェント間で最適戦略の計算を分散化する。
• マルチエージェント版のマルチアームバンディット問題へとアプローチを拡張し、分散的で最適な協調学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 私的状態を持つ自己中心的エージェントは、最適な連携計画のための局所的状態を真実に報告するようにどのようにインcentivizeできるか？
• RQ2 私的情報が存在する中で、最適な連携戦略が均衡において実装されることを保証するメカニズムは何か？
• RQ3 局所問題がマルコフ連鎖である場合、最適な連携戦略を分散的に効率的に計算できるか？
• RQ4 ギッティンズ指数をどのように活用して、連携戦略の計算を要因分解し分散化できるか？
• RQ5 このフレームワークは、マルチエージェント・マルチアームバンディット設定において最適な協調学習をサポートするか？

主な発見

• 提案されたメカニズムは、長期的なインcentive compatibility を保証するマルコフ完全均衡において最適な連携戦略を達成する。
• マルコフ連鎖モデルの特別なケースでは、ギッティンズ指数を用いて最適戦略の効率的かつ要因分解可能な計算が可能になる。
• フレームワークは分散計算をサポートしており、エージェントが最適戦略の自身の部分を独立して計算できる。
• このアプローチはマルチエージェント・マルチアームバンディット問題へ一般化され、分散的で最適な協調学習を可能にする。
• 確率的ゲームにおける巧みな動的インセンティブ設計により、私的状態の真実の報告が保証される。