[论文解读] Can Deep Neural Networks Match the Related Objects?: A Survey on ImageNet-trained Classification Models

Han S. Lee, Heechul Jung+2 more|arXiv (Cornell University)|Sep 12, 2017

Domain Adaptation and Few-Shot Learning参考文献 17被引用 6

一句话总结

本文通过认知心理学启发的实验，研究了在ImageNet上预训练的深度神经网络（DNNs）是否能够识别物体类别之间的语义关联性。研究发现，DNNs在检测基于相似性的关联性（例如，猴子与熊猫）方面表现优异，但在处理基于关联性的关联性（例如，猴子与香蕉）时则表现失败，揭示了其在分类准确率之外的概念理解存在关键局限性。

ABSTRACT

Deep neural networks (DNNs) have shown the state-of-the-art level of performances in wide range of complicated tasks. In recent years, the studies have been actively conducted to analyze the black box characteristics of DNNs and to grasp the learning behaviours, tendency, and limitations of DNNs. In this paper, we investigate the limitation of DNNs in image classification task and verify it with the method inspired by cognitive psychology. Through analyzing the failure cases of ImageNet classification task, we hypothesize that the DNNs do not sufficiently learn to associate related classes of objects. To verify how DNNs understand the relatedness between object classes, we conducted experiments on the image database provided in cognitive psychology. We applied the ImageNet-trained DNNs to the database consisting of pairs of related and unrelated object images to compare the feature similarities and determine whether the pairs match each other. In the experiments, we observed that the DNNs show limited performance in determining relatedness between object classes. In addition, the DNNs present somewhat improved performance in discovering relatedness based on similarity, but they perform weaker in discovering relatedness based on association. Through these experiments, a novel analysis of learning behaviour of DNNs is provided and the limitation which needs to be overcome is suggested.

研究动机与目标

• 探究在ImageNet上预训练的DNN是否能够识别物体类别之间的语义关联性。
• 分析DNN在学习语义相似或相互作用的物体类别之间关系时的局限性。
• 评估DNN在包含相关与不相关物体对的认知心理学数据集上的表现。
• 区分两种类型的关联性：基于相似性的（共享视觉或层级特征）和基于关联性的（功能或情境互动）。

提出的方法

• 将预训练的ImageNet DNN（如ResNet）应用于包含成对图像的认知心理学数据集，其中包含相关与不相关的物体对。
• 从DNN最后一层卷积层提取特征嵌入，并通过余弦相似度测量成对样本之间的关联性。
• 若相关对之间的余弦相似度高于无关对，则将该对分类为'匹配'。
• 利用ImageNet分类任务中的失败案例，推测DNN并未完全学习类别之间的语义关系。
• 对'最佳'和'最差'匹配案例进行定性和定量分析，以识别DNN推理中的模式。
• 比较DNN在基于相似性的关联性与基于关联性的关联性上的表现，以评估其语义理解的深度。

实验结果

研究问题

• RQ1 在ImageNet上预训练的DNN能否有效判断物体类别之间的语义关联性？
• RQ2 DNN在关联性匹配中的表现是否与其在ImageNet上的分类准确率相关？
• RQ3 DNN能否在物体对中区分基于相似性的关联性与基于关联性的关联性？
• RQ4 为何DNN在处理通过功能互动而非视觉相似性关联的物体对时会失败？
• RQ5 DNN在类别级区分之外，能在多大程度上学习语义关系？

主要发现

• DNN在识别物体类别之间关联性方面表现有限，尤其在关联性基于功能关联而非视觉相似性时表现更差。
• DNN在关联性匹配中的表现通常与其实现的ImageNet分类准确率成正比，表明其语义关系的学习是间接的。
• 由于共享视觉或层级特征，DNN能有效检测基于相似性的关联性（例如，猴子与熊猫）。
• DNN在基于关联性的关联性（例如，猴子与香蕉）上表现显著困难，因为其关联基于互动或上下文而非外观。
• ‘最差’匹配案例始终涉及基于关联性的配对，表明DNN在建模上下文或功能关系方面存在根本性缺陷。
• 未能学习基于关联性的关联性表明，当前DNN的训练目标可能不足以促进超越视觉区分的概念推理。