[论文解读] Behavior-Based Machine-Learning: A Hybrid Approach for Predicting Human Decision Making

Gali Noti, Effi Levi+2 more|arXiv (Cornell University)|Nov 30, 2016

Decision-Making and Behavioral Economics参考文献 2被引用 11

一句话总结

本文提出了一种混合机器学习方法，将心理学行为特征（如前景理论和累积前景理论）整合进支持向量机（SVM）框架中，以预测人类在风险和模糊情境下的决策行为。该模型在2015年选择预测竞赛中，优于所有非基线学习模型，在测试集上取得了1.24的MSD得分，同时成功捕捉了全部14种经典选择偏差。

ABSTRACT

A large body of work in behavioral fields attempts to develop models that describe the way people, as opposed to rational agents, make decisions. A recent Choice Prediction Competition (2015) challenged researchers to suggest a model that captures 14 classic choice biases and can predict human decisions under risk and ambiguity. The competition focused on simple decision problems, in which human subjects were asked to repeatedly choose between two gamble options. In this paper we present our approach for predicting human decision behavior: we suggest to use machine learning algorithms with features that are based on well-established behavioral theories. The basic idea is that these psychological features are essential for the representation of the data and are important for the success of the learning process. We implement a vanilla model in which we train SVM models using behavioral features that rely on the psychological properties underlying the competition baseline model. We show that this basic model captures the 14 choice biases and outperforms all the other learning-based models in the competition. The preliminary results suggest that such hybrid models can significantly improve the prediction of human decision making, and are a promising direction for future research.

研究动机与目标

• 开发一种可泛化于多样化风险与模糊情境的人类决策预测模型。
• 解决纯粹统计或机器学习模型在捕捉系统性人类选择偏差方面的局限性。
• 将公认的理论（如前景理论、SCPT）整合进机器学习特征中，以提升预测性能。
• 评估心理特征工程是否能提升人类决策预测中的学习性能。

提出的方法

• 模型使用来自行为理论的24维特征向量，包括有效概率、风险态度以及累积前景理论指标。
• 通过100,000个随机生成的问题和90个估计问题对特征进行标准化处理。
• 针对五个试验区块中的每一个，使用10折交叉验证训练一个独立的、采用三阶多项式核的SVM模型。
• 预测按顺序进行：首先预测第一区块的B率，随后各区块的预测以先前预测结果作为输入特征。
• 进行预测后调整：(a) 若问题为平凡问题（占优选项），则将预测结果向占优选择方向调整；(b) 对于第一区块，当不确定性较高时，将预测结果与SCPT结果进行混合。
• 使用均方偏差（MSD）在估计集和测试集上评估模型性能，并通过14项行为异常测试验证其表现。

实验结果

研究问题

• RQ1 是否能够通过整合心理学行为特征的机器学习模型，在预测人类决策方面优于纯粹统计或学习基线模型？
• RQ2 将前景理论与累积前景理论特征整合，是否能有效捕捉人类选择偏差的完整谱系？
• RQ3 在包含模糊性和反馈条件的多样化决策问题结构中，行为特征的引入是否能提升模型的泛化能力？
• RQ4 基于问题结构（如平凡占优、初始不确定性）的模型调整在多大程度上提升了预测准确性？

主要发现

• 该混合模型成功通过了全部14项行为异常测试，证实其能够捕捉到已广泛记录的人类决策偏差。
• 在60道新测试问题的测试集中，该模型取得了1.24的MSD得分，优于所有非基线学习模型。
• 在25份提交结果中，该模型排名14位，其中前13名均为基线模型的变体，表明其具有出色的相对性能。
• 该模型在所有未整合行为理论的学习模型中表现最优，凸显了心理特征工程的重要性。
• 该模型在估计集上的平均MSD为0.74，略低于基线模型的0.71，表明在超参数调优方面仍有改进空间。
• 结果支持了以下假设：将行为理论整合进机器学习特征中，能显著提升人类决策预测的预测能力。