[논문 리뷰] Revisiting Self-Supervised Visual Representation Learning

Alexander Kolesnikov, Xiaohua Zhai외 1명|arXiv (Cornell University)|2019. 01. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 68

한 줄 요약

이 논문은 자체 감독 시각 표현 학습에 대한 대규모 연구를 수행하며 CNN 아키텍처 선택과 너비가 학습된 표현에 깊은 영향을 미친다는 것을 보여주고, 아키텍처와 프리텍스트 작업을 함께 최적화하여 새로운 최첨단 결과를 달성한다.

ABSTRACT

Unsupervised visual representation learning remains a largely unsolved problem in computer vision research. Among a big body of recently proposed approaches for unsupervised learning of visual representations, a class of self-supervised techniques achieves superior performance on many challenging benchmarks. A large number of the pretext tasks for self-supervised learning have been studied, but other important aspects, such as the choice of convolutional neural networks (CNN), has not received equal attention. Therefore, we revisit numerous previously proposed self-supervised models, conduct a thorough large scale study and, as a result, uncover multiple crucial insights. We challenge a number of common practices in selfsupervised visual representation learning and observe that standard recipes for CNN design do not always translate to self-supervised representation learning. As part of our study, we drastically boost the performance of previously proposed techniques and outperform previously published state-of-the-art results by a large margin.

연구 동기 및 목표

• CNN 아키텍처 선택이 자체 감독 시각 표현의 품질에 미치는 영향을 평가한다.
• 표준 감독학습 설계 관행이 자체 감독 환경으로 이전되는지 판단한다.
• 네트워크 너비와 가역성이 표현 품질에 어떤 영향을 미치는지 식별한다.
• 자가 감독으로 학습된 표현을 평가하기 위한 선형 평가의 적합성을 평가한다.
• 비지도 학습 성능을 높이기 위한 아키텍처 및 작업 선택에 대한 지침을 제공한다.

제안 방법

• 여섯 가지 CNN 아키텍처(ResNet 변형, RevNet, VGG)와 서로 다른 너비 계수(k)로 자체 감독 작업을 평가한다.
• 아키텍처 전반에 걸쳐 네 가지 자체 감독 기법(Rotation, Exemplar, Relative Patch Location, Jigsaw)을 다시 살펴본다.
• 프리로짓 표현을 사용하여 다운스트림 ImageNet/Places205 작업에 대한 선형 로지스틱 회귀 분류기를 학습한다.
• 선형 평가와 비선형(MLP) 평가를 비교하여 선형 프로브의 적합성을 평가한다.
• 네트워크 너비와 표현 크기의 독립적 효과를 분석한다.
• 선형 평가에 대한 SGD 학습 동역학을 검토하여 수렴 요건을 이해한다.

실험 결과

연구 질문

• RQ1 CNN 아키텍처가 자가 감독 작업을 통해 학습된 표현의 품질에 어떤 영향을 미치는가?
• RQ2 표준 감독 설계의 CNN 선택이 자가 감독 설정으로 이전되는가?
• RQ3 네트워크 너비 및 표현 크기를 늘리는 것이 자가 감독 성능에 어떤 영향을 미치는가?
• RQ4 선형 평가가 아키텍처와 작업 전반에 걸친 표현 품질을 판단하기에 충분한가?
• RQ5 스킵-커넥션과 가역성이 심층 네트워크에서 유용한 표현의 보존에 어떤 영향을 미치는가?

주요 결과

• 아키텍처 선택은 자가 감독 성능에 현저한 영향을 미치며 태스크 간 순위가 달라진다.
• 스킵-커넥션은 자가 감독 학습에서 더 깊은 층으로 갈수록 표현 품질 저하를 방지하는 데 도움을 준다.
• 필터 수(너비)와 표현 크기의 증가가 일관되게 성능을 향상시킨다.
• 선형 평가가 대체로 충분하다; 비선형 평가의 이득은 이 맥락에서 한정적이다.
• 컨텍스트 예측은 원래 자가 감독 학습을 촉발했으며, 적절한 아키텍처와 함께 최첨단 결과를 달성할 수 있다.
• 더 넓은 모델은 데이터셋(ImageNet 및 Places205)과 저데이터 상황 전반에 걸쳐 이점을 제공한다.