[论文解读] Learning the Preferences of Ignorant, Inconsistent Agents

Owain Evans, Andreas Stuhlmueller+1 more|arXiv (Cornell University)|Dec 18, 2015

Decision-Making and Behavioral Economics参考文献 15被引用 5

一句话总结

本文提出了一种贝叶斯逆向规划框架，通过将代理建模为认知有限的个体（受错误信念和时间不一致偏差如双曲贴现的影响），推断人类偏好。通过将规划视为具有结构化偏差的生成过程，该模型联合推断偏好、信念和偏差，在解释人类行为以及在偏好推断任务中匹配人类直觉方面，优于标准的最优选择模型。

ABSTRACT

An important use of machine learning is to learn what people value. What posts or photos should a user be shown? Which jobs or activities would a person find rewarding? In each case, observations of people's past choices can inform our inferences about their likes and preferences. If we assume that choices are approximately optimal according to some utility function, we can treat preference inference as Bayesian inverse planning. That is, given a prior on utility functions and some observed choices, we invert an optimal decision-making process to infer a posterior distribution on utility functions. However, people often deviate from approximate optimality. They have false beliefs, their planning is sub-optimal, and their choices may be temporally inconsistent due to hyperbolic discounting and other biases. We demonstrate how to incorporate these deviations into algorithms for preference inference by constructing generative models of planning for agents who are subject to false beliefs and time inconsistency. We explore the inferences these models make about preferences, beliefs, and biases. We present a behavioral experiment in which human subjects perform preference inference given the same observations of choices as our model. Results show that human subjects (like our model) explain choices in terms of systematic deviations from optimal behavior and suggest that they take such deviations into account when inferring preferences.

研究动机与目标

• 解决标准偏好推断模型假设最优决策的局限性。
• 将人类决策建模为由于错误信念和时间不一致而导致系统性次优。
• 开发一种概率生成模型，从观察到的选择中联合推断偏好、信念和偏差。
• 通过受控行为实验，将模型的推断与人类偏好判断进行验证。
• 证明必须显式建模最优性偏离的结构化特征，以避免错误的偏好推断。

提出的方法

• 使用概率程序形式化代理行为，建模在错误信念和双曲贴现下的序列决策。
• 构建一个规划的生成模型，其中代理具有不准确的状态信念，并表现出时间不一致的偏好。
• 应用贝叶斯推断以反转生成模型，计算效用函数、信念和偏差参数的后验分布。
• 使用模型计算观察到的行为的解释后验概率，包括诱惑、错误信念和偏好。
• 在概率编程语言中实现该模型，以支持对认知偏差的灵活探索。
• 将模型预测与行为实验中的人类判断进行比较，以评估其与人类直觉的一致性。

实验结果

研究问题

• RQ1 错误信念和时间不一致如何影响在偏好推断中对观察到的选择的解释？
• RQ2 一种显式表示认知偏差的模型是否能比标准最优选择模型更准确地推断偏好？
• RQ3 人类受试者是否通过系统性偏差（如错误信念和诱惑）来解释选择，而非随机误差？
• RQ4 人类对行为的解释在多大程度上与模型推断的解释一致？
• RQ5 偏好识别中的不确定性在多大程度上影响不同解释的合理性？

主要发现

• 即使代理因错误信念或时间不一致而做出次优选择，该模型仍能成功推断偏好，其推断结果比标准最优选择模型更符合实际情境。
• 在行为实验中，54%的人类受试者推断出代理更偏好素食咖啡馆而非甜甜圈店，与模型的59%后验概率非常接近。
• 人类受试者使用诱惑和错误信念等系统性因素来解释选择，而非无结构的误差，表明他们将偏差视为信息性因素。
• 模型对解释的后验分布与人类识别出的因素（如“避免诱惑”和“错误信念”）的频率高度一致，验证了其与人类认知的一致性。
• 当偏好不明确时，该模型能够捕捉人类受试者提出的多种不同解释，并以原则性的贝叶斯方式保持不确定性。
• 该模型优于将频繁选择等同于最高偏好的简单模型，表明此类模型无法有效考虑认知偏差的影响。