[论文解读] Are Convolutional Neural Networks or Transformers more like human vision?

Shikhar Tuli, Ishita Dasgupta+2 more|arXiv (Cornell University)|May 15, 2021

Visual Attention and Saliency Detection被引用 99

一句话总结

本论文在人的视觉相似度基础上，利用错误一致性度量比较CNN与Vision Transformers (ViT)，结果显示ViT在Stylized ImageNet上的错误与人类更一致且呈现形状偏好，但微调后存在差异。

ABSTRACT

Modern machine learning models for computer vision exceed humans in accuracy on specific visual recognition tasks, notably on datasets like ImageNet. However, high accuracy can be achieved in many ways. The particular decision function found by a machine learning system is determined not only by the data to which the system is exposed, but also the inductive biases of the model, which are typically harder to characterize. In this work, we follow a recent trend of in-depth behavioral analyses of neural network models that go beyond accuracy as an evaluation metric by looking at patterns of errors. Our focus is on comparing a suite of standard Convolutional Neural Networks (CNNs) and a recently-proposed attention-based network, the Vision Transformer (ViT), which relaxes the translation-invariance constraint of CNNs and therefore represents a model with a weaker set of inductive biases. Attention-based networks have previously been shown to achieve higher accuracy than CNNs on vision tasks, and we demonstrate, using new metrics for examining error consistency with more granularity, that their errors are also more consistent with those of humans. These results have implications both for building more human-like vision models, as well as for understanding visual object recognition in humans.

研究动机与目标

• 通过研究错误模式来评估模型的人类化程度，超越单纯的准确率分析。
• 比较CNNs和Vision Transformers在与人类分类行为的一致性上的错误一致性。
• 引入细粒度指标，以分析除总体准确性之外的错误分类。
• 研究数据增强和微调如何影响形状偏好和人类般行为。

提出的方法

• 在Stylized ImageNet (SIN) 上比较 ResNet（CNN）与 ViT（Vision Transformer）模型，该数据集是具有纹理-形状线索冲突的诊断数据集。
• 使用错误一致性度量，包括观测到的错误重叠、Cohen’s kappa校正，以及对混淆矩阵的 Jensen-Shannon (JS) 距离。
• 基于16个入门级类别和240个对角线之外的错误类型，构建类级和类间的JS距离。
• 通过评估 SIN 实验中形状 vs. 纹理预测真标签的情形来分析形状偏好。
• 对 ViT 和 ResNet 进行增强数据的微调，以研究错误一致性和形状偏好的变化。

实验结果

研究问题

• RQ1 Vision Transformers 是否在 SIN 上的错误模式与人类更为一致，相较于 CNN？
• RQ2 粒度化的错误-方差度量（类级和类间 JS 距离）与 Cohen’s kappa 在反映人类化行为方面有何差异？
• RQ3 在不同架构中，形状偏好与人类的错误一致性之间的关系是什么？
• RQ4 对增强数据进行微调如何影响CNN与ViT的形状偏好和人类化程度？

主要发现

• ViT 在SIN上使用 Cohen’s kappa 和类级 JS 距离的错误模式方面，与人类更一致，优于 ResNet。
• 类级 JS 距离与 Cohen’s kappa 一致，显示ViT的人类般错误模式，与SIN训练准确率无关。
• 类间 JS 距离表明，当考虑完整错误分布时，ViT 比 ResNet 拥有更高的错误多样性（在某些方面更像人类） 。
• ViT 在 SIN 上表现出比CNN更高的形状偏好，部分解释了更高的基于形状的错误一致性。
• 对增强数据进行微调会增加两者的形状偏好；ImageNet 的准确率可能略微下降，ResNet 受影响更大。