[论文解读] A neural network walks into a lab: towards using deep nets as models for human behavior

Wei Ji, Benjamin Peters|arXiv (Cornell University)|May 2, 2020

Neural dynamics and brain function参考文献 82被引用 46

一句话总结

本文主张在认知科学中将深度神经网络（DNNs）作为人类行为的模型，概述如何训练和测试它们，并讨论评估以及与传统认知模型的整合。

ABSTRACT

What might sound like the beginning of a joke has become an attractive prospect for many cognitive scientists: the use of deep neural network models (DNNs) as models of human behavior in perceptual and cognitive tasks. Although DNNs have taken over machine learning, attempts to use them as models of human behavior are still in the early stages. Can they become a versatile model class in the cognitive scientist's toolbox? We first argue why DNNs have the potential to be interesting models of human behavior. We then discuss how that potential can be more fully realized. On the one hand, we argue that the cycle of training, testing, and revising DNNs needs to be revisited through the lens of the cognitive scientist's goals. Specifically, we argue that methods for assessing the goodness of fit between DNN models and human behavior have to date been impoverished. On the other hand, cognitive science might have to start using more complex tasks (including richer stimulus spaces), but doing so might be beneficial for DNN-independent reasons as well. Finally, we highlight avenues where traditional cognitive process models and DNNs may show productive synergy.

研究动机与目标

• 倡导将DNNs作为与传统认知过程模型并行的可行人类行为模型。
• 提出一种实验室风格的工作流，让DNNs经历生态学前训练、诊断任务训练，并对人类行为进行有限的数据驱动拟合。
• 呼吁更丰富的任务设计和刺激空间，以便在DNNs中更好地捕捉接近人类的先验与行为。
• 强调超越准确率的评估方法，使用丰富的行为度量以及模型与人类的比较。

提出的方法

• 主张两阶段训练范式：生态前训练，然后在诊断性实验室任务上训练，并可能对行为数据进行有限拟合。
• 讨论朝向生物学可行性的架构方向（如循环、反馈、注意力、发放尖峰变体等）以产生类人表示。
• 强调创建生态有效且丰富多样的训练集，包括数据增强和类似视频的可变性，以映射人类经验。
• 推荐多任务训练和课程学习，以促进模块化和与人类认知相似的泛化。
• 通过探索多种网络实例和训练方案来捕捉人类差异，倡导个体间变异性。

实验结果

研究问题

• RQ1 DNNs是否能作为跨多类认知任务的多功能、类人模型？
• RQ2 哪些训练与测试流水线能使DNN行为在诊断任务上最好地与人类行为对齐？
• RQ3 除了简单的准确率外，应该如何评估DNN与人类之间的拟合优度？
• RQ4 生态有效的前训练、任务丰富性和多任务训练在实现人类般的DNN行为中起到什么作用？
• RQ5 如何整合认知过程模型与DNNs，以发挥两者的优势？

主要发现

• DNNs应被认真对待为行为的候选模型，而不仅仅是预测工具。
• 一个体面的建模流程包括生态前训练、诊断任务训练，以及可能对人类数据的有限拟合。
• 拟合优度需要丰富的多维行为表征，超越准确率，包括反应分布和时序。
• 任务设计和训练数据的丰富性至关重要；生态有效、多样化的任务有助于使DNN先验与人类认知对齐。
• 将认知过程模型与DNNs相结合的混合方法为推进对认知的理解提供了富有成效的途径。