[论文解读] End-to-end Deep Prototype and Exemplar Models for Predicting Human Behavior

Pulkit Singh, Joshua C. Peterson+2 more|arXiv (Cornell University)|Jul 17, 2020

Child and Animal Learning Development参考文献 20被引用 10

一句话总结

本文提出端到端的深度神经网络模型——深度原型模型（DPM）、深度实例模型（DEM）和深度高斯混合模型（DGMM），联合从原始输入中学习刺激和类别表征。通过端到端训练这些受认知启发的模型，其在拟合人类不确定性行为方面表现更优，并在分类准确率上优于标准深度网络。

ABSTRACT

Traditional models of category learning in psychology focus on representation at the category level as opposed to the stimulus level, even though the two are likely to interact. The stimulus representations employed in such models are either hand-designed by the experimenter, inferred circuitously from human judgments, or borrowed from pretrained deep neural networks that are themselves competing models of category learning. In this work, we extend classic prototype and exemplar models to learn both stimulus and category representations jointly from raw input. This new class of models can be parameterized by deep neural networks (DNN) and trained end-to-end. Following their namesakes, we refer to them as Deep Prototype Models, Deep Exemplar Models, and Deep Gaussian Mixture Models. Compared to typical DNNs, we find that their cognitively inspired counterparts both provide better intrinsic fit to human behavior and improve ground-truth classification.

研究动机与目标

• 解决传统类别学习模型中刺激表征独立于类别学习而固定的局限性。
• 将特征学习与经典心理学类别分类理论（如原型理论与实例理论）相结合。
• 开发能够同时学习刺激与类别表征的深度神经网络架构，以更好地匹配人类认知过程。
• 通过联合优化表征与分类，提升模型在人类行为预测与下游分类任务中的性能。
• 提供一个可扩展、可微分的框架，支持心理学类别学习理论与深度学习的融合。

提出的方法

• 提出一种概率框架，将深度神经网络与原型、实例及高斯混合模型结合，实现刺激与类别表征的联合学习。
• 使用反向传播技术对整个模型（包括分类组件）进行端到端训练，以优化特征学习网络。
• 采用马氏距离作为刺激与类别原型或实例之间的相似性度量，并引入可学习的协方差矩阵。
• 应用t-SNE可视化技术分析潜在空间中类别中心与刺激表征的分布。
• 在CIFAR10-H数据集上训练模型，该数据集包含超过50万条人类不确定性判断，用于评估模型对人类行为的拟合程度。
• 采用统一架构，其中类别表征（原型或实例）作为网络中的可学习参数，通过梯度下降进行训练。

实验结果

研究问题

• RQ1 能否通过端到端训练使深度神经网络联合学习刺激与类别表征，从而更真实地反映人类认知过程？
• RQ2 联合学习刺激与类别表征如何影响模型对人类分类不确定性的拟合程度？
• RQ3 与标准深度网络相比，这些端到端模型在标准图像分类基准上的泛化能力与分类准确率是否得到提升？
• RQ4 这些模型学习到的内部表征具有何种特性？与心理学类别学习理论相比有何异同？
• RQ5 将认知理论与深度学习相结合，能否带来更稳健且可解释的模型？

主要发现

• 所提出的深度原型与实例模型在拟合人类不确定性行为方面显著优于先前模型，即使在无任何人工监督的情况下亦然。
• 尽管采用固定且广为人知的网络架构，这些模型在真实标签分类任务中的准确率仍优于标准深度神经网络。
• t-SNE可视化显示，DPM生成单峰、居中的原型，而DGMM则学习到非退化、多峰且非线性分布的中心，能更好地捕捉复杂类别结构。
• 模型在十次训练运行中表现出良好的泛化能力，性能稳定，无需对超参数进行模型优势调整。
• 与先前工作相比，模型在拟合人类不确定性方面的提升幅度较大，而后者需依赖大量人工监督才能达到类似效果。
• 即使每个类别包含多达5,000个中心，模型仍能保持稳定训练，表明其具备良好的可扩展性与鲁棒性。