[논문 리뷰] A critical analysis of self-supervision, or what we can learn from a single image

Yuki M. Asano, Christian Rupprecht외 1명|arXiv (Cornell University)|2019. 04. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 67인용 수 65

한 줄 요약

본 논문은 ImageNet에서 서로 다른 깊이의 자기지도(self-supervised) 표현을 분석하고, 패치 기반 증강 방법에 따라 선형 탐지기(linear probes)의 동작 방식을 보이며, 자기지도 방법이 더 깊은 층에서 감독(supervised) 성능보다 뒤처지지만, 학습 방식과 패치 크기에 따라 초기 층에서는 감독과 비등하거나 이를 상회할 수 있음을 강조한다.

ABSTRACT

We look critically at popular self-supervision techniques for learning deep convolutional neural networks without manual labels. We show that three different and representative methods, BiGAN, RotNet and DeepCluster, can learn the first few layers of a convolutional network from a single image as well as using millions of images and manual labels, provided that strong data augmentation is used. However, for deeper layers the gap with manual supervision cannot be closed even if millions of unlabelled images are used for training. We conclude that: (1) the weights of the early layers of deep networks contain limited information about the statistics of natural images, that (2) such low-level statistics can be learned through self-supervision just as well as through strong supervision, and that (3) the low-level statistics can be captured via synthetic transformations instead of using a large image dataset.

연구 동기 및 목표

• ImageNet에서 선형 탐지를 사용하여 네트워크 깊이에 따라 자기지도 표현의 성능을 평가한다.
• 저수준 특징과 고수준 특징 학습에 대한 패치 기반 증강 전략의 영향을 조사한다.
• 깊이에 따른 성능 차이를 식별하기 위해 자기지도 방법과 감독형 baselines를 비교한다.

제안 방법

• 작은 패치를 포함한 다양한 증강 전략으로 자기지도 모델을 학습한다.
• 다른 네트워크 계층에 연결된 선형 분류기로 표현을 평가한다.
• 계층별 절대 정확도와 (감독 대비) 상대 정확도를 플롯하여 깊이 의존 경향을 평가한다.
• 작은 패치로 학습하는 것이 저수준 필터(conv1) 학습을 강조하는지 분석한다.
• 깊이에 따른 비지도 모델의 성능 저하를 감독 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 선형 탐지를 사용하여 ImageNet에서 서로 다른 네트워크 깊이에서 자기지도 표현의 성능은 어떻게 나타나는가?
• RQ2 증강에서 패치 크기가 학습된 표현, 특히 저수준 필드에 영향을 미치는가?
• RQ3 ImageNet에서 자기지도 방법과 감독 베이스라인 간의 깊이에 따른 격차는 어느 정도인가?
• RQ4 특정 학습 스키마에서 초기 층에서 자기지도 방법이 감독 성능과 맞먹거나 이를 상회할 수 있는가?
• RQ5 다양한 증강 전략이 계층 간 특징의 전이 가능성에 어떤 영향을 미치는가?

주요 결과

• 특정 패치 기반 학습 스키로에서 자기지도 모델은 가장 첫 번째 컨브(conv1) 층에서 감독 모델을 능가할 수 있다.
• 자기지도 방법의 성능은 일반적으로 conv3를 넘어 깊이가 커질수록 저하되지만, 감독형 모델은 깊이가 늘어날수록 향상된다.
• 계층에 따라 자기지도 방법의 상대적 이득은 달라지며, 작업 특화된 감독으로 인한 차이가 깊은 층에서 커진다.
• 매우 작은 패치가 포함된 패치 기반 증강은 유용한 저수준 필터 학습을 강조한다.
• 특정 학습 체계에서 조기에 선형 탐지기를 이용한 자기지도 모델 표현이 감독 베이스라인과 비슷한 성능을 보인다.