[論文レビュー] Deliberation and its Role in the Formation of Intentions

Anand S. Rao, Michael Georgeff|arXiv (Cornell University)|Mar 20, 2013

Multi-Agent Systems and Negotiation参考文献 7被引用数 11

ひとこと要約

本稿は、信念、目標、意図、時間、行動、確率、報酬を統合する、分岐的時間のあり得る世界モデルを提案し、合理的なエージェントにおける意思決定を形式的に定式化する。エージェントが意思決定ツリーを用いて意思決定を行い、その後それらをあり得る世界の表現に翻訳することで意図を形成・推論できることを示し、動的で不確実な環境における意図形成の統合的枠組みを提供する。

ABSTRACT

Deliberation plays an important role in the design of rational agents embedded in the real-world. In particular, deliberation leads to the formation of intentions, i.e., plans of action that the agent is committed to achieving. In this paper, we present a branching time possible-worlds model for representing and reasoning about, beliefs, goals, intentions, time, actions, probabilities, and payoffs. We compare this possible-worlds approach with the more traditional decision tree representation and provide a transformation from decision trees to possible worlds. Finally, we illustrate how an agent can perform deliberation using a decision-tree representation and then use a possible-worlds model to form and reason about his intentions.

研究の動機と目的

• 動的で不確実な環境において、合理的なエージェントが意思決定を通じてどのように意図を形成するかを形式的にモデル化する枠組みを構築すること。
• 信念、目標、意図、時間、行動、確率、報酬といった複数の認知的要素を、一つの整合的なモデルに統合すること。
• 従来の意思決定ツリー表現とあり得る世界アプローチの関係を比較し、それらの間の形式的変換を確立すること。
• エージェントが意思決定ツリーを用いて意思決定を行い、その後あり得る世界モデルを用いて意図を推論できることを示すこと。
• 現実世界のエージェント行動におけるコミットメント、持続性、適応可能性を支持する、意図形成の理論的基盤を提供すること。

提案手法

• 各世界が将来の可能な状態を表す分岐的時間のあり得る世界モデルを提案し、時間的・確率的構造を備える。
• 可能世界フレームワーク内において、信念、目標、意図、行動、報酬を形式的に定義し、モーダル論理と時相演算子を用いる。
• 意図形成を、エージェントが目標と信念に整合し、十分な確率で成功すると予想される計画（行動の系列）にコミットするプロセスとして定義する。
• 意思決定ツリーからあり得る世界モデルへの変換を確立し、確率的および時間的構造を保持する。
• モーダル論理を用いて、意図の持続性、目標達成、あり得る世界間での信念の一貫性といった性質を表現する。
• モデルを用いて、エージェントが意思決定ツリーで選択肢を検討し、その後あり得る世界表現において意図を明示的に選択・コミットするプロセスをシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、不確実で動的である環境において、合理的なエージェントの意思決定を形式的にモデル化し、意図形成を支援できるか？
• RQ2 エージェント推論の文脈において、意思決定ツリー表現とあり得る世界モデルの関係は何か？
• RQ3 時間的・確率的枠組み内において、意図を形式的に定義し、目標や計画とどのように区別できるか？
• RQ4 意思決定ツリーからあり得る世界モデルへの変換を可能にする形式的ルールは何か？ また、その際に意思決定プロセスが保持されるか？
• RQ5 あり得る世界モデルは、不確実性や状況の変化がある中でも、意図の持続性とコミットメントをどのように支援するか？

主な発見

• あり得る世界モデルは、意図形成の時間的・確率的ダイナミクスを効果的に捉え、エージェントのコミットメントについて形式的推論を可能にする。
• 意思決定ツリーからあり得る世界への変換は、エージェントの意思決定プロセスを保持し、実践的決定行動と形式的意図モデルの橋渡しを可能にする。
• 意図形成は、目標指向的かつ不確実性に強く、論理的制約によって持続性が保証される計画へのコミットメントとして形式化される。
• モデルは複数の可能な将来を推論可能にし、エージェントが意図にコミットする前に行動の結果を評価できる。
• あり得る世界フレームワークに報酬と確率を統合することで、期待効用や成功確率に基づいて意図を優先順位付けできる。
• 本アプローチは、自らの意図を推論し、新たな情報や環境の変化に応じてそれらを適応させる能力を持つ合理的なエージェントの構築に基盤を提供する。