[论文解读] Adapting Deep Network Features to Capture Psychological Representations

Joshua C. Peterson, Joshua T. Abbott+1 more|arXiv (Cornell University)|Aug 6, 2016

Face Recognition and Perception参考文献 14被引用 30

一句话总结

本文提出一种方法，通过重加权预训练的VGG16特征，使深度卷积神经网络（CNN）特征更好地与人类对图像相似性的心理表征对齐。通过使用人类相似性判断作为弹性网络回归的监督信号，对预训练的VGG16特征进行重加权，模型实现了对人类相似性判断的近乎完美重建，显著优于原始CNN特征，后者无法捕捉人类感知中的关键定性差异。

ABSTRACT

Deep neural networks have become increasingly successful at solving classic perception problems such as object recognition, semantic segmentation, and scene understanding, often reaching or surpassing human-level accuracy. This success is due in part to the ability of DNNs to learn useful representations of high-dimensional inputs, a problem that humans must also solve. We examine the relationship between the representations learned by these networks and human psychological representations recovered from similarity judgments. We find that deep features learned in service of object classification account for a significant amount of the variance in human similarity judgments for a set of animal images. However, these features do not capture some qualitative distinctions that are a key part of human representations. To remedy this, we develop a method for adapting deep features to align with human similarity judgments, resulting in image representations that can potentially be used to extend the scope of psychological experiments.

研究动机与目标

• 研究深度神经网络特征在多大程度上能预测人类对图像的相似性判断。
• 识别原始深度特征在捕捉人类心理表征中存在的重要定性差异方面的局限性。
• 开发一种方法，使深度特征更紧密地与人类相似性判断对齐。
• 通过提供准确且可学习的图像表征，使自然、真实的刺激能够用于心理实验。

提出的方法

• 通过将人类相似性判断作为监督信号，对预训练的VGG16激活值进行重加权，实现对深度特征的微调。
• 使用弹性网络回归学习正向、稀疏的权重，以重新加权特征，使其更准确地预测人类相似性。
• 将重加权后的特征应用于重建一组动物图像的人类相似性判断。
• 在不同网络层（卷积层和全连接层）上评估性能，以评估表征质量的深度依赖性。
• 在新的动物分类数据集上验证该方法，以测试其可迁移性及对下游任务的影响。
• 在相似性预测和分类任务中，对比适应后的特征与未经修改的VGG16特征的性能。

实验结果

研究问题

• RQ1 预训练的深度网络特征在多大程度上能预测自然图像的人类相似性判断？
• RQ2 标准深度特征缺失了人类心理表征中的哪些定性差异？
• RQ3 我们能否通过一种简单且可解释的变换，使深度特征更好地捕捉类人相似性结构？
• RQ4 适应后的特征在不同网络层上的性能如何变化？
• RQ5 适应后的特征在标准计算机视觉任务（如图像分类）中是否能保持或提升性能？

主要发现

• 来自VGG16的原始深度特征解释了人类相似性判断中相当大一部分的方差，但无法捕捉人类感知中的关键定性差异。
• 重加权特征适应方法成功以高精度重建了人类相似性判断，实现了与人类数据近乎完美的对齐。
• 适应后特征的性能在全连接层最强，表明高层表征更接近人类心理相似性。
• 该方法通过捕捉标准深度学习目标所遗漏的相似性数据中的结构模式，优于原始特征。
• 尽管在建模心理相似性方面表现成功，但微调后的特征在标准动物分类任务中的表现仍劣于原始VGG16特征（R² = 0.89 vs. 0.94），表明心理保真度与分类准确率之间存在权衡。
• 结果表明，深度特征可被有效适应为人类心理表征的代理，从而在认知科学中实现使用自然刺激的新应用。