[논문 리뷰] On the surprising similarities between supervised and self-supervised models

Robert Geirhos, Kantharaju Narayanappa외 4명|arXiv (Cornell University)|2020. 10. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 19

한 줄 요약

이 연구는 15개의 일반화 데이터셋(130만 건의 시험)을 통해 인간의 심리물리적 데이터와 비교하여 자기지도학습 및 지도학습 기반의 딥러닝 모델을 평가한다. 그 결과, 다른 학습 목표를 가짐에도 불구하고 자기지도학습 모델은 지도학습 모델과 유사한 행동 패턴을 보이며, 특히 낮은 노이즈 내성(단지 SimCLR를 제외하고), 인간과 다른 오류 패턴, 강한 텍스처 편향을 보이고 있다. 이는 현재 자기지도학습 접근 방식이 아직 인간과 유사한 시각 인식을 모방하지 못하고 있음을 시사한다.

ABSTRACT

How do humans learn to acquire a powerful, flexible and robust representation of objects? While much of this process remains unknown, it is clear that humans do not require millions of object labels. Excitingly, recent algorithmic advancements in self-supervised learning now enable convolutional neural networks (CNNs) to learn useful visual object representations without supervised labels, too. In the light of this recent breakthrough, we here compare self-supervised networks to supervised models and human behaviour. We tested models on 15 generalisation datasets for which large-scale human behavioural data is available (130K highly controlled psychophysical trials). Surprisingly, current self-supervised CNNs share four key characteristics of their supervised counterparts: (1.) relatively poor noise robustness (with the notable exception of SimCLR), (2.) non-human category-level error patterns, (3.) non-human image-level error patterns (yet high similarity to supervised model errors) and (4.) a bias towards texture. Taken together, these results suggest that the strategies learned through today's supervised and self-supervised training objectives end up being surprisingly similar, but distant from human-like behaviour. That being said, we are clearly just at the beginning of what could be called a self-supervised revolution of machine vision, and we are hopeful that future self-supervised models behave differently from supervised ones, and---perhaps---more similar to robust human object recognition.

연구 동기 및 목표

• 자기지도학습 모델이 시각 인식 과제에서 지도학습 모델보다 인간과 더 유사하게 행동하는지 조사하는 것.
• 다양한 이미지 왜곡 및 교란 조건 하에서 자기지도학습 및 지도학습 모델의 일반화 행동을 비교하는 것.
• 자기지도학습 모델이 물체 인식에서 형태 대비 텍스처에 대해 인간과 유사한 불변성 또는 편향을 보이는지 평가하는 것, 특히 형태 대비 텍스처에 초점을 맞추어.
• 다양한 시각 자극에서 모델 오류와 인간 오류 패턴 간의 일관성을 평가하는 것.
• 대비 기반 자기지도학습이 지도학습과 본질적으로 다른 인도적 편향을 유도하는지 평가하는 것.

제안 방법

• ResNet-50 아키텍처를 사용하여 8개의 자기지도학습 모델(PIRL, MoCo, MoCoV2, InfoMin, InsDis, SimCLR-x1/x2/x4)과 24개의 지도학습 모델(예: ResNet, VGG, DenseNet)을 학습하였다.
• 평가를 위해 ImageNet을 사용하여 각 자기지도학습 표현의 위에 선형 분류기를 피지터닝하였다.
• 12종류의 이미지 열화 유형(예: 노이즈, 회전, 단편 노이즈)과 형태-텍스처 갈등 데이터셋을 사용하여 모델을 평가하였다.
• 인간의 심리물리적 데이터(130만 건의 시험)를 [4, 5]에서 확보하여 인간과 유사한 행동의 기준으로 삼았다.
• 이미지 수준 및 카테고리 수준의 예측에서 모델과 인간의 오류 패턴을 비교하기 위해 오류 일관성 분석을 적용하였다.
• 형태와 텍스처가 서로 다른 카테고리에 속하는 텍스처 대비 형태의 단서 갈등 데이터셋을 사용하여 텍스처 편향을 정량화하였다.

실험 결과

연구 질문

• RQ1 자기지도학습 모델은 이미지 왜곡 및 열화 조건에서 지도학습 모델보다 더 나은 일반화 성능을 보이는가?
• RQ2 자기지도학습 모델은 분포 외 시료에서 인간과 유사한 오류를 내는가, 아니면 지도학습 모델과 비슷한 오류를 내는가?
• RQ3 자기지도학습 모델은 물체 인식에서 형태나 텍스처에 대해 편향을 보이며, 이는 인간의 인식과 어떻게 비교되는가?
• RQ4 자기지도학습 및 지도학습 모델이 의사결정 과정에서 유사한 인도적 편향을 얼마나 공유하는가?
• RQ5 특정 데이터 증강 기법을 사용하는 SimCLR는 다른 자기지도학습 방법과 비교해 내성성과 인간 유사성 측면에서 예외적인가?

주요 결과

• 대부분의 자기지도학습 모델은 지도학습 모델과 마찬가지로 이미지 왜곡에 대해 낮은 내성성을 보이며, 단지 SimCLR만이 뚜렷한 노이즈 내성성을 보였다.
• 자기지도학습 모델은 지도학습 모델과 강한 오류 일관성을 보이며, 특히 이미지 수준의 오류 패턴에서 유사한 기초 인도적 편향을 나타낸다.
• 자기지도학습 모델의 카테고리 수준 오류 패턴은 인간의 행동과 다소 다름을 보이며, 인간의 인지적 그룹화나 분류 방식과 일치하지 않는다.
• 모든 테스트된 자기지도학습 모델은 강한 텍스처 편향을 보이며, SimCLR는 가장 낮은 편향(58.3–61.2%)을 보였지만, 여전히 지도학습 Inception-V3(60.7%)와 유사한 수준이었다.
• 대비 기반 자기지도학습 목표가 텍스처 편향을 줄이지 못함을 확인하여, 데이터 증강 기법이 이 편향을 형성하는 데 핵심적인 역할을 한다는 것을 시사한다.
• 기본적으로 다른 학습 목표를 가짐에도 불구하고 자기지도학습 모델은 인간의 시각 인식과의 유사성이 증가하지 않았으며, 현재의 접근 방식이 여전히 인간과 유사한 불변성과 내성성에 도달하지 못하고 있음을 시사한다.