[논문 리뷰] Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles

Mehdi Noroozi, Paolo Favaro|arXiv (Cornell University)|2016. 03. 30.

Image Processing and 3D Reconstruction인용 수 13

한 줄 요약

이 논문은 이미지 조각을 뒤섞고 그 정확한 공간적 배열을 예측하도록 훈련하는 컨텍스트 프리 네트워크(CFN)를 사용하여 시각적 표현을 자기지도 학습 방식으로 학습하는 방법을 제안한다. 이 방법은 이미지 분류 및 검출 작업에서 전이 학습 성능이 최신 기술 수준에 도달하며, 이전의 비지도 학습 방법을 능가하고 감독 학습 전훈 정확도에 근접한다.

ABSTRACT

In this paper we study the problem of image representation learning without human annotation. By following the principles of self-supervision, we build a convolutional neural network (CNN) that can be trained to solve Jigsaw puzzles as a pretext task, which requires no manual labeling, and then later repurposed to solve object classification and detection. To maintain the compatibility across tasks we introduce the context-free network (CFN), a siamese-ennead CNN. The CFN takes image tiles as input and explicitly limits the receptive field (or context) of its early processing units to one tile at a time. We show that the CFN includes fewer parameters than AlexNet while preserving the same semantic learning capabilities. By training the CFN to solve Jigsaw puzzles, we learn both a feature mapping of object parts as well as their correct spatial arrangement. Our experimental evaluations show that the learned features capture semantically relevant content. Our proposed method for learning visual representations outperforms state of the art methods in several transfer learning benchmarks.

연구 동기 및 목표

• 사람의 레이블링 비용을 줄이기 위해 이미지 퍼즐 풀이를 사전 과제로 사용하는 자기지도 학습 방법을 개발하는 것.
• 초기 수용장치가 개별 이미지 타일로 제한되어 부분과 공간 배열 이해를 위한 더 나은 특징 학습이 가능하도록 컨텍스트 프리 네트워크(CFN)를 설계하는 것.
• 학습된 특징이 객체 분류 및 검출과 같은 후행 작업으로의 전이 가능성 평가하는 것.
• 퍼즐 풀이를 통한 비지도 전훈이 미세조정을 거친 후 감독 전훈 성능을 뛰어넘거나 근접시킬 수 있음을 보여주는 것.

제안 방법

• 초기 레이어에서 개별 이미지 타일을 독립적으로 처리하는 시아모이즈-이너드 컨volutional 신경망(CFN)을 사용하여, 한 번에 한 타일에만 맥락을 제한한다.
• 자연 이미지에서 이미지 패치를 추출하고 무작위로 뒤섞어 Jigsaw 퍼즐을 만들며, 이를 훈련을 위한 사전 과제로 사용한다.
• 9개 타일의 120가지 가능한 순열에 대해 분류 헤드를 사용하여 뒤섞인 패치의 정확한 배열을 예측하도록 네트워크를 훈련시킨다.
• CFN는 AlexNet보다 파라미터 수가 적지만 동일한 의미적 학습 능력을 유지하도록 설계되어 있다.
• Jigsaw 과제에서 전훈을 마친 후, 최종 컨볼루션 레이어의 특징을 사용하여 후행 분류 및 검출 벤치마크에서 미세조정을 통해 전이 학습을 수행한다.
• 훈련 중에 색상 왜곡과 같은 데이터 증강 전략을 적용하여 견고성을 향상시킨다.

실험 결과

연구 질문

• RQ1 사람의 레이블 없이도 Jigsaw 퍼즐 풀이가 일반적인 시각적 표현을 학습하는 데 효과적인 사전 과제로 기능할 수 있는가?
• RQ2 컨텍스트 프리 네트워크 아키텍처가 부분 수준의 표현을 분리함으로써 공간 추론 이전에 특징 학습을 향상시키는가?
• RQ3 Jigsaw 퍼즐 풀이를 통해 학습된 특징의 성능이 다른 자기지도 학습 및 감독 학습 방법과 비교하여 전이 학습 벤치마크에서 어떻게 되는가?
• RQ4 비지도 전훈이 후행 작업에서 감독 전훈의 성능 격차를 어느 정도 메울 수 있는가?

주요 결과

• CFN는 ImageNet 분류 작업에서 이전의 모든 비지도 학습 방법을 능가하며, 전이 학습 후 상위-1 정확도 57.3%를 달성하여 기존 최신 기술 수준의 비지도 학습 방법을 초월한다.
• PASCAL VOC 2007 검출 벤치마크에서 평균 정밀도(mAP) 64.1%를 기록하여 이전의 비지도 학습 접근 방식을 능가한다.
• 질적 이미지 검색 결과에서 CFN 특징는 객체의 형태와 종류에 매우 민감하며, 가장 가까운 이웃들이 일반적으로 동일한 클래스에 속하는 경향을 보였다.
• 두 개의 완전 연결 레이어를 통해 거리 메트릭을 학습할 경우, CFN 특징는 Doersch 등과 Wang 및 Gupta의 특징를 포함한 다른 비지도 학습 특징보다 뚜렷이 뛰어난 성능을 보였다.
• 130만 장의 이미지에서 2.5일 만에 수렴하며, 평균적으로 각 이미지당 69개의 퍼즐을 생성하여 이전 방법보다 훨씬 빠른 속도를 기록했다.
• 필터 및 활성화 시각화 결과에서 네트워크는 얼굴, 날개, 다리와 같은 객체 부분과 장면 구성 요소를 특화된 검출기로 학습하며, 깊이가 깊어질수록 복잡도가 증가하는 경향을 보였다.