[論文レビュー] Influence-Optimistic Local Values for Multiagent Planning --- Extended Version

Frans A. Oliehoek, Matthijs T. J. Spaan+1 more|arXiv (Cornell University)|Feb 18, 2015

Multi-Agent Systems and Negotiation参考文献 48被引用数 3

ひとこと要約

本稿では、因子付き価値関数を必要としない因子付きDec-POMDPsに対する影響最適化上界（IO-UBs）を導入し、外部要因に対する楽観的仮定に基づく局所的サブ問題分解を通じて、タイトなグローバル上界を実現する。この手法により、数100人のエージェントを含む問題において、ヒューリスティック解の近似要因が1.7未満に抑えられ、大規模マルチエージェント計画における強力な品質保証が可能となる。

ABSTRACT

Recent years have seen the development of methods for multiagent planning under uncertainty that scale to tens or even hundreds of agents. However, most of these methods either make restrictive assumptions on the problem domain, or provide approximate solutions without any guarantees on quality. Methods in the former category typically build on heuristic search using upper bounds on the value function. Unfortunately, no techniques exist to compute such upper bounds for problems with non-factored value functions. To allow for meaningful benchmarking through measurable quality guarantees on a very general class of problems, this paper introduces a family of influence-optimistic upper bounds for factored decentralized partially observable Markov decision processes (Dec-POMDPs) that do not have factored value functions. Intuitively, we derive bounds on very large multiagent planning problems by subdividing them in sub-problems, and at each of these sub-problems making optimistic assumptions with respect to the influence that will be exerted by the rest of the system. We numerically compare the different upper bounds and demonstrate how we can achieve a non-trivial guarantee that a heuristic solution for problems with hundreds of agents is close to optimal. Furthermore, we provide evidence that the upper bounds may improve the effectiveness of heuristic influence search, and discuss further potential applications to multiagent planning.

研究の動機と目的

• 不確実性下での大規模マルチエージェント計画に向けたスケーラブルで保証可能な上界の欠如に対処すること。
• 因子付き価値関数を許容しない因子付きDec-POMDPsにおいて、ヒューリスティック解の性能保証を可能にすること。
• システム全体の影響について局所的な楽観的仮定を用いる一般化された手法を構築し、非因子付き価値関数設定における上界計算を可能にすること。
• これらの上界がヒューリスティック手法のベンチマーク評価およびヒューリスティック探索の有効性向上にどのように有用であるかを示すこと。
• 解決策の品質ギャップを定量的に評価することで、マルチエージェントシステムの実用的導入と理論的分析を支援すること。

提案手法

• 状態要因とエージェント相互作用のパーティションに基づき、大規模な因子付きDec-POMDPsを小さなサブ問題に分解する。
• 各サブ問題に対する外部システムからの楽観的影響を仮定することで、局所的上界を計算し、サブ問題を独立して解けるようにする。
• 影響最適化を用いてサブ問題を分離する：外部エージェントおよび状態要因からの最も望ましい可能な影響を仮定する。
• サブ問題の局所的上界を組み合わせることで、全体問題の価値に対するグローバル上界を構築し、因子付きモデルの構造を活用する。
• スケーラビリティを管理するためのパーティションベースの分解を採用し、サブ問題が扱いやすく保たれつつもグローバルな上界品質を維持する。
• ヒューリスティック解の上界を計算するためにこの手法を適用し、近似品質の実証的評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 因子付き価値関数を許容しない大規模因子付きDec-POMDPsに対して、タイトな上界を計算可能か？
• RQ2 外部要因に対する影響最適化仮定が、マルチエージェント計画における効果的かつスケーラブルな上界を提供できるか？
• RQ3 これらの上界が、数100人のエージェントを含む問題におけるヒューリスティック解に対して、どの程度意味のある品質保証を提供できるか？
• RQ4 タイトさと計算可能性の観点から、これらの上界は既存手法と比べてどのように異なるか？
• RQ5 これらの上界は、マルチエージェント計画におけるヒューリスティック探索手法の有効性を向上させられるか？

主な発見

• 提案された影響最適化上界は、数100人のエージェントを含む因子付きDec-POMDPsにおいて、ヒューリスティック解の近似要因が1.7未満に抑えられることを実証的に示した。
• 本手法は、かつてはこのような保証が得られなかった問題においても、非自明で測定可能なヒューリスティック解の品質保証を提供する。
• 実証的結果から、上界がタイトであるため、大規模マルチエージェントシステムにおけるヒューリスティック手法の性能ギャップを意味的に評価可能であることが示された。
• 実験により、上界がヒューリスティック影響探索の有効性を向上させていることが裏付けられた。
• 従来の価値因子化依存手法を一般化し、非因子付き価値関数設定への上界計算を拡張した。
• 影響の強さが弱い結合性の主要要因である可能性が、証拠によって示唆された。