[논문 리뷰] Are Convolutional Neural Networks or Transformers more like human vision?

Shikhar Tuli, Ishita Dasgupta외 2명|arXiv (Cornell University)|2021. 05. 15.

Visual Attention and Saliency Detection인용 수 99

한 줄 요약

이 논문은 CNN과 Vision Transformer(ViT)을 인간-비전 유사성 기준으로 오류-일관성 지표를 사용해 비교하고, ViT가 Stylized ImageNet에서 인간의 오류 및 형태 편향과 더 잘 정렬되며, 미세 조정 후에는 뉘앙스가 달라진다는 것을 보여준다.

ABSTRACT

Modern machine learning models for computer vision exceed humans in accuracy on specific visual recognition tasks, notably on datasets like ImageNet. However, high accuracy can be achieved in many ways. The particular decision function found by a machine learning system is determined not only by the data to which the system is exposed, but also the inductive biases of the model, which are typically harder to characterize. In this work, we follow a recent trend of in-depth behavioral analyses of neural network models that go beyond accuracy as an evaluation metric by looking at patterns of errors. Our focus is on comparing a suite of standard Convolutional Neural Networks (CNNs) and a recently-proposed attention-based network, the Vision Transformer (ViT), which relaxes the translation-invariance constraint of CNNs and therefore represents a model with a weaker set of inductive biases. Attention-based networks have previously been shown to achieve higher accuracy than CNNs on vision tasks, and we demonstrate, using new metrics for examining error consistency with more granularity, that their errors are also more consistent with those of humans. These results have implications both for building more human-like vision models, as well as for understanding visual object recognition in humans.

연구 동기 및 목표

• 정확도 그 이상을 평가하기 위해 오류 패턴을 분석해 모델의 인간 유사성을 평가한다.
• CNN과 Vision Transformer를 인간 분류 행동과의 오류 일관성에서 비교한다.
• 전반적 정확도 외의 잘못 분류를 분석하기 위한 세분화된 지표를 도입한다.
• 데이터 증강과 미세 조정이 형태 편향과 인간 유사한 행동에 어떤 영향을 주는지 조사한다.

제안 방법

• Stylized ImageNet(SIN)에서 질감-형태 큐를 상충시키는 진단 데이터셋으로 ResNet(CNN)과 ViT(Vision Transformer) 모델을 비교한다.
• 관측 오류 중첩, Cohen’s kappa 보정, 및 혼동 행렬의 Jensen-Shannon(JS) 거리 등 오류-일관성 측정을 사용한다.
• 16개의 진입 수준(class)과 240개의 대각선이 아닌 오류 유형에서 클래스별 및 클래스 간 JS 거리를 구성한다.
• Shape bias를 SIN 실험에서 형태가 텍스처를 예측하는 경우를 평가하여 분석한다.
• 증강 데이터를 사용한 미세 조정으로 오류-일관성과 형태 편향의 변화를 연구한다.

실험 결과

연구 질문

• RQ1 Vision Transformer가 SIN에서 CNN보다 인간과 더 일관된 오류 패턴을 만들어내는가?
• RQ2 세분화된 오류-분산 지표(class-wise 및 inter-class JS 거리)가 Cohen’s kappa와 비교하여 인간과 유사한 행동을 반영하는가?
• RQ3 형태 편향과 인간과의 오류-일관성 간의 관계는 어떤가? 아키텍처 간 차이가 있는가?
• RQ4 증강 데이터로의 미세 조정이 CNN과 ViT의 형태 편향 및 인간 유사성에 어떤 영향을 주는가?

주요 결과

• ViT는 SIN에서 Cohen’s kappa와 클래스별 JS 거리 측면에서 CNN인 ResNet보다 인간과 더 일치하는 오류 패턴을 보인다.
• 클래스별 JS 거리는 Cohen’s kappa와 일치하며 ViT의 인간과 유사한 오류 패턴을 보여주며 SIN 학습 정확도와 무관하다.
• 클래스 간 JS 거리는 ViT가 전체 오류 분포를 고려할 때 ResNet보다 더 높은 오류 다양성을 보이며(일부 측면에서 인간과 더 유사), 이를 통해 인간과의 차이를 나타낸다.
• ViT는 SIN에서 CNN보다 더 큰 형태 편향을 보이며, 이는 형태 기반 오류 일관성이 더 높아지는 부분적 설명이 된다.
• 증강 데이터를 사용한 미세 조정은 두 모델 모두 형태 편향을 증가시키며; ImageNet의 정확도는 약간 감소할 수 있으며 ResNet이 더 큰 영향을 받는다.