[論文レビュー] Probabilistic Models for Agents' Beliefs and Decisions

Brian Milch, Daphne Koller|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 11被引用数 5

ひとこと要約

本稿は、ベイジアン・ネットワークとインフルエンス図を用いて、エージェントの信念と意思決定を形式的にモデル化する確率的認識論的論理（PEL）を導入する。 rational な意思決定の仮定に基づき、観察された行動と未観測の変数や内部状態を結びつけることで、他者に関する信念や好みといったエージェントの心的状態の推論を可能にし、不確実性のある領域における信念と行動の推論を統合的に扱うフレームワークを提供する。

ABSTRACT

Many applications of intelligent systems require reasoning about the mental states of agents in the domain. We may want to reason about an agent's beliefs, including beliefs about other agents; we may also want to reason about an agent's preferences, and how his beliefs and preferences relate to his behavior. We define a probabilistic epistemic logic (PEL) in which belief statements are given a formal semantics, and provide an algorithm for asserting and querying PEL formulas in Bayesian networks. We then show how to reason about an agent's behavior by modeling his decision process as an influence diagram and assuming that he behaves rationally. PEL can then be used for reasoning from an agent's observed actions to conclusions about other aspects of the domain, including unobserved domain variables and the agent's mental states.

研究の動機と目的

• 確率的認識論的論理（PEL）を用いて、他のエージェントの信念についての高階の信念を含めたエージェントの信念を形式化すること。
• エージェントの選択をインフルエンス図における合理的な行動として表現することで、信念モデルと意思決定の統合を図ること。
• 観察された行動から未観測のドメイン変数やエージェントの未観測の心的状態（信念や好み）への推論を可能にすること。
• 自動推論を支援する確率的枠組み内で信念文に形式的意味を与えるための意味論を提供すること。
• ベイジアン・ネットワーク内でのPEL式のアサーションとクエリをサポートするアルゴリズムを開発し、複雑なドメインにおけるスケーラブルな推論を実現すること。

提案手法

• 信念文（他のエージェントに関するネストされた信念を含む）の形式的意味論を持つ確率的認識論的論理（PEL）を定義すること。
• ドメインをベイジアン・ネットワークとして表現し、変数間の事前知識と条件付き依存関係を符号化すること。
• エージェントの意思決定プロセスをインフルエンス図でモデル化し、ノードを意思決定、確率変数、および利得として表現すること。
• エージェントが期待利得を最大化することで合理的に行動すると仮定し、信念と好みを観察可能な行動に結びつけること。
• PELをベイジアン・ネットワークの推論と統合し、観察された行動からエージェントの信念や好みに関するクエリを可能にすること。
• 確率的グラフィカル・モデルの枠組み内で、PEL式のアサーションとクエリをサポートするアルゴリズムを開発すること。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、他のエージェントの信念についての信念を含め、確率的かつ計算的に実行可能なかたちでエージェントの信念を形式的に表現できるか？
• RQ2 エージェントの観察された行動を、未観測のドメイン変数や信念・好みといった未観測の心的状態への推論に結びつけるにはどうすればよいか？
• RQ3 複数のエージェントを対象とした推論を可能にする確率的設定における信念文の形式的意味論は何か？
• RQ4 合理的な意思決定をどのようにモデル化し、信念表現と統合することで、行動から心的状態への推論を可能にするか？
• RQ5 複雑なドメインにおいて、確率的グラフィカル・モデルを用いて信念および好みの文の効率的なクエリをサポートするアルゴリズム的枠組みは何か？

主な発見

• 提案されたPELフレームワークは、信念文に形式的意味を与えることで、高階の信念を含むエージェントの認識状態の正確な表現を可能にする。
• PELをベイジアン・ネットワークと統合することで、不確実性と複数のエージェントを含む複雑なドメインにおけるスケーラブルな推論が可能になる。
• エージェントをインフルエンス図における合理的な意思決定者としてモデル化することで、観察された行動から未観測の信念や好みへの逆方向推論が可能になる。
• ベイジアン・ネットワーク内でのPEL式のアサーションとクエリをサポートするアルゴリズムにより、行動観測に基づくエージェントの心的状態に関する自動推論が可能になる。
• 本手法は、観察された行動と合理的な行動の仮定のみを用いて、未観測のドメイン変数やエージェントの内部状態についての推論を成功裏に実現する。
• 本フレームワークは、マルチエージェントシステム、人間-ロボットインタラクション、戦略的意思決定分析など、心の理論的推論を要する実世界の応用に適用可能である。