[論文レビュー] Decision Theory with Resource-Bounded Agents

Joseph Y. Halpern, Rafael Pass+1 more|arXiv (Cornell University)|Aug 17, 2013

Game Theory and Applications参考文献 20被引用数 4

ひとこと要約

本稿では、意思決定理論におけるリソース制約のあるエージェントをモデル化する2つのフレームワークを提案する。1つはチューリングマシンを用いて計算複雑性にコストを課すものであり、もう1つは状態数が限られた有限オートマトンとしてエージェントをモデル化するものである。両アプローチとも、第一印象が重要になる傾向や信念の極端化といったよく知られた認知バイアスを、リソース制約下での最適行動として説明可能であることが示された。また、状態数が増加するにつれてオートマトンベースの戦略は最適性能に近づく。

ABSTRACT

There have been two major lines of research aimed at capturing resource-bounded players in game theory. The first, initiated by Rubinstein, charges an agent for doing costly computation; the second, initiated by Neyman, does not charge for computation, but limits the computation that agents can do, typically by modeling agents as finite automata. We review recent work on applying both approaches in the context of decision theory. For the first approach, we take the objects of choice in a decision problem to be Turing machines, and charge players for the ``complexity'' of the Turing machine chosen (e.g., its running time). This approach can be used to explain well-known phenomena like first-impression-matters biases (i.e., people tend to put more weight on evidence they hear early on) and belief polarization (two people with different prior beliefs, hearing the same evidence, can end up with diametrically opposed conclusions) as the outcomes of quite rational decisions. For the second approach, we model people as finite automata, and provide a simple algorithm that, on a problem that captures a number of settings of interest, provably performs optimally as the number of states in the automaton increases.

研究の動機と目的

• 古典的意思決定理論における完全な合理性の仮定に挑戦し、計算リソースが制限された意思決定エージェントをモデル化すること。
• 第一印象が重要になる傾向や信念の極端化といった体系的な人間の行動バイアスを、計算制約下での合理的な反応として説明すること。
• リソース制限が増加するにつれて最適性能に近づく、シンプルで実装可能な戦略を構築すること。
• チューリングマシンの複雑性に基づくコストモデルと、状態数に制限のある有限オートマトンモデルという2つの異なるアプローチを比較すること。
• 有限オートマトン戦略が動的かつ不確実な環境で効果的であるという理論的および実験的根拠を提供すること。

提案手法

• エージェントを、報酬と計算複雑性（実行時間、状態数など）に依存するチューリングマシンの選択としてモデル化する。
• 選択されたアルゴリズムの複雑性にコストを課すコストモデルを導入し、報酬と計算量の間の合理的なトレードオフを可能にする。
• 内部状態と入力信号に依存する遷移を持つ、固定された状態数を持つ有限オートマトンとしてエージェントをモデル化する。
• 状態数N、信号の確率、正の信号・負の信号の閾値をパラメータとする、家族A[N, p_exp, Pos, Neg, r_u, r_d]を提案する。
• 自然の状態が確率的に変化する動的意思決定問題を設定し、エージェントは時間経過とともにノイズのある信号に基づいて意思決定を行う。
• Nが増加するにつれて、オートマトン族の期待報酬が理論的最適値に近づくことを証明した。オракルなしでも成立する。

実験結果

リサーチクエスチョン

• RQ1 第一印象が重要になるバイアスは、計算コストを考慮した状況下で合理的な行動として説明可能か？
• RQ2 同じ証拠を提示されても、異なる事前確信を持つエージェントが、リソース制約下で信念の極端化を合理的に生じさせ得るか？
• RQ3 動的かつ不確実な環境下で、N状態の有限オートマトンが最適意思決定をどの程度近似できるか？
• RQ4 Nが増加する際、有限オートマトン戦略のどのパrameter設定が近似的に最適な性能を達成するか？
• RQ5 計算リソースが限られた現実の意思決定問題において、シンプルで低複雑性の戦略が良好に機能するか？

主な発見

• πとP_expにやや緩い条件が課される限り、オートマトン族A[N, p_exp, Pos, Neg, r_u, r_d]はNが増加するにつれて理論的最適値（x_G/2）に期待報酬が任意に近づく。
• π = 0.001、x_G = 1、4つの信号を想定した場合、5状態のオートマトンは期待報酬が0.4を超える。これはランダム戦略や固定戦略（報酬0）を著しく上回る。
• 2状態のオートマトンですら、同じ条件下で期待報酬が0.15を超える。これは極めて少ないリソースで優れた性能を示している。
• 性能は頑健である：N=5の最適p_expを用いることで、N≥5のすべての状態数で近似的に最適な結果が得られ、各Nごとの最適化の必要が減少する。
• 理論的結果として、任意の意思決定設定において、パラメータが存在し、N→∞のときオートマトンの期待報酬が最適値に収束することが示された。
• 複雑性にコストを課すモデルと有限オートマトンモデルの両方が、第一印象が重要になる傾向や信念の極端化といった認知バイアスを、計算制約下での最適反応として説明可能であり、非合理性ではなく合理的な反応であることを示している。