[论文解读] Using Machine Learning to Guide Cognitive Modeling: A Case Study in Moral Reasoning

Mayank Agrawal, Joshua C. Peterson+1 more|arXiv (Cornell University)|Feb 18, 2019

Psychology of Moral and Emotional Judgment参考文献 29被引用 6

一句话总结

本文提出了一种数据驱动的迭代方法，利用黑箱机器学习模型引导道德心理学中可解释认知模型的构建。通过逐步整合预测模型识别出的特征——如道德原则和问题类型相似性——研究人员能够构建出准确且人类可理解的模型，其在预测各类道德困境中的道德判断方面，性能可媲美深度神经网络。

ABSTRACT

Large-scale behavioral datasets enable researchers to use complex machine learning algorithms to better predict human behavior, yet this increased predictive power does not always lead to a better understanding of the behavior in question. In this paper, we outline a data-driven, iterative procedure that allows cognitive scientists to use machine learning to generate models that are both interpretable and accurate. We demonstrate this method in the domain of moral decision-making, where standard experimental approaches often identify relevant principles that influence human judgments, but fail to generalize these findings to "real world" situations that place these principles in conflict. The recently released Moral Machine dataset allows us to build a powerful model that can predict the outcomes of these conflicts while remaining simple enough to explain the basis behind human decisions.

研究动机与目标

• 弥合机器学习在预测能力上的优势与认知科学在解释清晰度上的不足之间的差距。
• 克服传统实验室研究在将道德判断原则推广至复杂现实冲突时的局限性。
• 开发一种系统化、迭代的程序，利用高性能黑箱算法的洞察来增强认知模型。
• 通过 Moral Machine 数据集验证该方法在道德决策中的有效性。
• 在道德判断预测中实现模型可解释性与预测准确性的平衡。

提出的方法

• 使用大规模行为数据（Moral Machine 数据集）训练一个黑箱机器学习模型（如深度神经网络）作为性能基准。
• 将一个初始的可解释认知模型（如理性选择模型）形式化，以基本道德原则作为参数。
• 将可解释模型的预测结果与黑箱模型的预测结果进行比较，以识别系统性预测偏差。
• 分析预测误差，以发现能解释方差的新特征或问题类型（如人类与动物、年龄差异等）。
• 将这些新出现的特征整合到可解释模型中，并迭代评估性能。
• 重复该过程，直至可解释模型的性能收敛于黑箱模型，从而在最大化准确率的同时保持可解释性。

实验结果

研究问题

• RQ1 机器学习模型能否引导构建出在保持高预测准确性的同时具备可解释性的认知模型？
• RQ2 在复杂道德困境中，哪些具体的道德原则和问题类型特征能持续预测人类的道德判断？
• RQ3 新兴特征（如代理属性的相似性，例如年龄、物种、犯罪状态）在多大程度上影响道德决策？
• RQ4 在增强道德原则后，理性选择模型在多大程度上能与深度神经网络在道德判断预测中的表现相匹配？
• RQ5 利用黑箱模型反馈进行迭代优化，能否持续提升认知模型的准确性和可解释性？

主要发现

• 最终的可解释模型在预测道德判断方面达到了 77.1% 的准确率，几乎与深度神经网络的性能相当。
• 整合如“人类与动物”和“年轻与年长”等问题类型特征后，模型准确率显著提升，并成功解释了残差预测误差。
• 在小样本数据集下，神经网络的性能优于初始模型，但在大样本数据集下，其性能与增强后的可解释模型趋于收敛，表明黑箱模型也学习到了相同的新兴特征。
• 残差分析显示，当所有人类均为罪犯时，道德原则的应用并不一致，提示需要引入新特征以捕捉该情境。
• 模型在某些困境中（如男性与女性、肥胖与健壮）过度高估了“干预”因素的权重，表明需要引入“干预”与人口统计特征之间的交互项。
• 该迭代方法成功识别并整合了新原则，证明黑箱模型能够引导认知建模中意义明确、可解释特征的发现。