[論文レビュー] Learning the Preferences of Ignorant, Inconsistent Agents

Owain Evans, Andreas Stuhlmueller+1 more|arXiv (Cornell University)|Dec 18, 2015

Decision-Making and Behavioral Economics参考文献 15被引用数 5

ひとこと要約

本論文は、誤った信念やハイパーボリック割引といった時間非整合的バイアスにさらされる認知的に制限されたエージェントとしてのモデル化を通じて、人間の好みを推定するベイジアン逆計画フレームワークを提案する。計画を構造的なずれを伴う生成プロセスとして扱うことで、モデルは好み、信念、バイアスを同時に推定でき、人間の行動を説明する際や好み推定タスクにおける人間の直感を再現する点で、標準的な最適選択モデルを上回る性能を示した。

ABSTRACT

An important use of machine learning is to learn what people value. What posts or photos should a user be shown? Which jobs or activities would a person find rewarding? In each case, observations of people's past choices can inform our inferences about their likes and preferences. If we assume that choices are approximately optimal according to some utility function, we can treat preference inference as Bayesian inverse planning. That is, given a prior on utility functions and some observed choices, we invert an optimal decision-making process to infer a posterior distribution on utility functions. However, people often deviate from approximate optimality. They have false beliefs, their planning is sub-optimal, and their choices may be temporally inconsistent due to hyperbolic discounting and other biases. We demonstrate how to incorporate these deviations into algorithms for preference inference by constructing generative models of planning for agents who are subject to false beliefs and time inconsistency. We explore the inferences these models make about preferences, beliefs, and biases. We present a behavioral experiment in which human subjects perform preference inference given the same observations of choices as our model. Results show that human subjects (like our model) explain choices in terms of systematic deviations from optimal behavior and suggest that they take such deviations into account when inferring preferences.

研究の動機と目的

• 標準的な好み推定モデルが最適意思決定を仮定するという限界に対処すること。
• 誤った信念や時間非整合性による系統的な非最適性によって人間の意思決定をモデル化すること。
• 観察された選択から好み、信念、バイアスを同時に推定する確率的生成モデルを開発すること。
• 制御された行動実験において、モデルの推論を人間の好み判断と照合して検証すること。
• 最適性からの構造的なずれを明示的にモデル化しなければ、誤った好み推論が生じることを示すこと。

提案手法

• 誤った信念とハイパーボリック割引を伴う状況下での逐次的意思決定をモデル化する確率的プログラムを定式化すること。
• 状態に関する誤った信念を持つエージェントと時間非整合的好みを示すエージェントの計画の生成モデルを構築すること。
• 生成モデルを逆に適用し、ベイズ推論を用いて効用関数、信念、バイアスパラメータの事後分布を計算すること。
• 観察された行動の説明（誘惑、誤った信念、好みなど）に関する事後確率をモデルで計算すること。
• 柔軟な認知的ずれの探索を可能にするために、確率的プログラミング言語でモデルを実装すること。
• 行動実験におけるモデル予測と人間の判断を比較し、人間の直感との整合性を評価すること。

実験結果

リサーチクエスチョン

• RQ1 誤った信念と時間非整合性は、好み推定における観察された選択の解釈にどのように影響するか？
• RQ2 認知バイアスを明示的に表現するモデルは、標準的な最適選択モデルに比べて、より正確に好みを推定できるか？
• RQ3 人間被験者は、ランダム誤差ではなく、誤った信念や誘惑といった系統的な要因を用いて選択を説明するか？
• RQ4 人間の行動説明が、モデルが推定した説明とどの程度一致するか？
• RQ5 好み特定における不確実性は、さまざまな説明の妥当性にどの程度影響を与えるか？

主な発見

• 誤った信念や時間非整合性によって非最適な選択を行うエージェントに対しても、モデルは好みを正しく推定でき、標準的な最適選択モデルに比べてより妥当な推論を生み出した。
• 行動実験において、54%の被験者が複数のエピソードを提示された際、エージェントがベジタリアンカフェをドーナツストアよりも好むと推論したが、これはモデルの59%の事後確率とよく一致した。
• 人間被験者は、無構造的誤差ではなく、誘惑や誤った信念といった系統的要因を用いて選択を説明しており、ずれを情報として扱っていることが示された。
• モデルの説明に関する事後分布は、人間が特定した要因（「誘惑を避ける」や「誤った信念」）の頻度とよく一致し、人間の認知と整合していることが検証された。
• 好みが曖昧な状況では、モデルは人間被験者が提示した多様な説明の範囲を捉え、原理的なベイズ的不確実性を維持した。
• 頻繁に選ばれる選択を最高の好みと等しくする単純なモデルに比べ、本モデルは認知バイアスを考慮できており、そのモデルが認知バイアスを無視するため失敗することを示した。