[논문 리뷰] Colorization as a Proxy Task for Visual Understanding

Gustav Larsson, Michael Maire외 1명|arXiv (Cornell University)|2017. 03. 11.

Advanced Chemical Sensor Technologies참고 문헌 42인용 수 56

한 줄 요약

논문은 자기지도 학습 색상화가 ImageNet의 드랍인 프리태닝 대체제로 작용하여 ImageNet 레이블 없이도 VOC에서 최첨단 성능을 달성하고, 손실, 아키텍처, 학습 선택에 대한 철저한 분석을 제공한다.

ABSTRACT

We investigate and improve self-supervision as a drop-in replacement for ImageNet pretraining, focusing on automatic colorization as the proxy task. Self-supervised training has been shown to be more promising for utilizing unlabeled data than other, traditional unsupervised learning methods. We build on this success and evaluate the ability of our self-supervised network in several contexts. On VOC segmentation and classification tasks, we present results that are state-of-the-art among methods not using ImageNet labels for pretraining representations. Moreover, we present the first in-depth analysis of self-supervision via colorization, concluding that formulation of the loss, training details and network architecture play important roles in its effectiveness. This investigation is further expanded by revisiting the ImageNet pretraining paradigm, asking questions such as: How much training data is needed? How many labels are needed? How much do features change when fine-tuned? We relate these questions back to self-supervision by showing that colorization provides a similarly powerful supervisory signal as various flavors of ImageNet pretraining.

연구 동기 및 목표

• 라벨이 없는 데이터를 활용한 시각적 이해를 위한 자기지도 학습 사용의 동기를 제시한다.
• 학습 가능한 전이 시각 표현을 얻기 위한 프록시 작업으로 색상화를 조사한다.
• VOC 분류 및 분할 벤치마크에서 색상화 기반 프리트레이닝을 평가한다.
• 손실 구성, 아키텍처, 학습 세부 정보가 학습 표현에 미치는 영향을 분석한다.

제안 방법

• GRayscale에서 색상을 예측하는 색상화 네트워크를 L*a*b 공간과 색상도/채도 손실 기반으로 학습한다.
• 희소 학습을 사용하는 하이퍼컬럼으로 표현을 효율적으로 학습한다.
• 3.7M개의 라벨링되지 않은 데이터(ImageNet + Places205)에서 프리트레이닝하고 다운스트림 작업으로 전달한다.
• 아키텍처 및 데이터 레짐 전반에서 색상화 프리트레이닝과 ImageNet 프리트레이닝을 체계적으로 비교한다.
• 학습률 스케줄, 수용 영역 확대, 배치 정규화 처리와 같은 학습 세부 정보를 탐구한다.

실험 결과

연구 질문

• RQ1 자기지도 색상화가 VOC 분류 및 분할에서 감독적 ImageNet 프리트레이닝에 근접하거나 이를 능가할 수 있는가?
• RQ2 손실 구성 및 아키텍처 선택이 학습된 표현의 품질에 어떤 영향을 미치는가?
• RQ3 프리트레이닝 데이터의 규모와 레이블 다양성이 다운스트림 성능에 어떤 영향을 미치는가?
• RQ4 미세조정 시 색상화 유래 표현은 순수 감독 프리트레이닝과 비교해 어떻게 변하는가?

주요 결과

• 색상화 기반 프리트레이닝은 ResNet-152와 확장된 시야를 가진 VOC 2012 Segmentation에서 60.0% mIU를 달성하여, ImageNet 레이블 없이 보고된 최고 성능이다.
• VOC 2007 분류에서 색상화 프리트레이닝은 77.3% mAP로, ImageNet이 아닌 방법들 가운데 최첨단이다.
• 색상도 공간에서 색상 히스토그램을 예측하는 것이 색상 값 회귀보다 하위 작업에서 더 나은 성능(52.9% mIU)을 보인다.
• 모델 복잡도를 높일수록(AlexNet → VGG-16 → ResNet-152) 색상화 프리트레이닝에서 더 큰 이득을 얻으며, 특히 소샘플링 구간에서 그렇다.
• 색상화 특징은 미세조정 시 상당한 특징 이동을 보이며, 학습된 표현이 단순히 좋은 초기화가 아니라 다운스트림 작업을 위해 재목적화된다는 것을 시사한다.