[論文レビュー] Subtree perfectness, backward induction, and normal-extensive form equivalence for single agent sequential decision making under arbitrary choice functions

Nathan Huntley, Matthias C. M. Troffaes|arXiv (Cornell University)|Sep 16, 2011

Experimental Behavioral Economics Studies参考文献 22被引用数 5

ひとこと要約

本稿は、確率や効用を前提としない任意の選択関数に基づく単一エージェントの逐次的意思決定における、部分木完全性（subtree perfectness）を導入する。部分木完全性は、サブゲーム完全性の一般化であり、後退帰納法が意思決定木全体で一貫した解をもたらすために十分であるが、必要ではない。

ABSTRACT

We revisit and reinterpret Selten's concept of subgame perfectness in the context of single agent normal form sequential decision making, which leads us to the concept of subtree perfectness. Thereby, we extend Hammond's characterization of extensive form consequentialist consistent behaviour norms to the normal form and to arbitrary choice functions under very few assumptions. In particular, we do not need to assume probabilities on any event or utilities on any reward. We show that subtree perfectness is equivalent to normal-extensive form equivalence, and is sufficient, but, perhaps surprisingly, not necessary, for backward induction to work.

研究の動機と目的

• 任意の選択関数を用いた単一エージェント意思決定問題におけるセレンのサブゲーム完全性の一般化を図ること。
• 確率的・効用に基づかない選択関数と整合するように、正規形式と広義形式を再定義すること。
• 期待効用最大化を仮定しない一般の選択関数下で、後退帰納法が有効となる条件を調査すること。
• 正規形式と広義形式の解が等価となる条件を確立すること。
• 意思決定モデルにおけるアクティビティ・ステート独立性と構造的整合性の役割を明確にすること。

提案手法

• 任意の条件事象に対して、ギャンブル（可能性空間上の報酬関数）の空でない部分集合を選ぶ選択関数を定義する。
• 部分木完全性を、部分木における最適戦略が全体の木から導かれる戦略と一致することとして定義する。
• 意思決定木に対する構造的帰納法を用いて、正規形式と広義形式の解の等価性を証明する。
• 再帰的部分木分解を用いて、正規形式の選択関数から広義形式の表現を構築する。
• 選択関数の性質（例：条件付きにおける一貫性）を用いて、部分木間での解の安定性を保証する。
• 部分木完全性が正規-広義形式等価性を示し、逆にその逆も成り立つことを、弱い仮定のもとで示す。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、任意の選択関数が単一エージェントの逐次的意思決定問題において部分木完全性を満たすか？
• RQ2 期待効用最大化が適用できない状況で、後退帰納法が有効となるのはいつか？
• RQ3 任意の選択関数下で、正規形式と広義形式の表現をどのように等価にできるか？
• RQ4 後退帰納法が一貫した解をもたらすために、部分木完全性は必須か？
• RQ5 最適戦略が大きな意思決定木に依存しないようにするための構造的性質は何か？

主な発見

• 基本的な一貫性性質を満たす任意の選択関数について、部分木完全性は正規-広義形式等価性と同値である。
• 選択関数が部分木完全性を満たしていれば、後退帰納法は一貫した解をもたらすが、部分木完全性は後退帰納法が機能するための必要条件ではない。
• 正規形式の選択関数から広義形式の解を構築する過程で、すべての部分木において最適戦略が保存される。
• 確率、効用、全順序を仮定しない状況でも、正規形式と広義形式の等価性は成立する。
• 証明は構造的帰納法と、部分木への制限における選択関数行動の保存性に依存する。
• 本稿では、アクティビティ・ステート独立性が正規形式と広義形式の解の整合性を保証するために十分であることを示している。