[논문 리뷰] Learning Image Representations by Completing Damaged Jigsaw Puzzles

Dahun Kim, Donghyeon Cho외 2명|arXiv (Cornell University)|2018. 02. 06.

Image Processing and 3D Reconstruction참고 문헌 33인용 수 26

한 줄 요약

이 논문은 3x3 이미지 패치 배열에서 한 조각이 손실되고 나머지 조각들이 색상이 제거된 상태에서 재구성하는 '손상된 퍼즐 조립'을 해결하도록 CNN을 훈련시키는 자기지도 학습 방법을 제안한다. 공간적 배열을 재구성하고, 누락된 패치를 재구성하며, 색상을 복원하는 것을 동시에 학습함으로써, 강건하고 일반적인 목적의 특징을 학습하게 되어, PASCAL VOC 분류 및 세분화 작업에서 최신 기준 성능을 달성하며, 개별 자기지도 학습 작업과 그 단순 조합보다도 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we explore methods of complicating self-supervised tasks for representation learning. That is, we do severe damage to data and encourage a network to recover them. First, we complicate each of three powerful self-supervised task candidates: jigsaw puzzle, inpainting, and colorization. In addition, we introduce a novel complicated self-supervised task called "Completing damaged jigsaw puzzles" which is puzzles with one piece missing and the other pieces without color. We train a convolutional neural network not only to solve the puzzles, but also generate the missing content and colorize the puzzles. The recovery of the aforementioned damage pushes the network to obtain robust and general-purpose representations. We demonstrate that complicating the self-supervised tasks improves their original versions and that our final task learns more robust and transferable representations compared to the previous methods, as well as the simple combination of our candidate tasks. Our approach achieves state-of-the-art performance in transfer learning on PASCAL classification and semantic segmentation.

연구 동기 및 목표

• 데이터 손상으로 인해 과제의 난이도를 높임으로써 자기지도 표현 학습을 향상시키기 위해.
• 다양한 손상된 자기지도 과제를 통합함으로써 특징의 강건성과 이식 가능성 향상 여부를 조사하기 위해.
• 퍼즐 조립, 누락된 패치 생성, 색상 복원을 통합한 유일한 과제인 '손상된 퍼즐 완성'을 개발하기 위해.
• 분류, 검출, 세분화와 같은 하류 과제에서 얻어진 표현을 평가하기 위해.
• 단지 자기지도 사전 훈련을 사용하여 PASCAL VOC 벤치마크에서 최신 기준 성능을 입증하기 위해.

제안 방법

• 이미지에서 3x3 패치를 추출하고, 패치를 무작위로 배치하고, 한 조각을 제거하며, 나머지 조각들을 색상 제거 처리하여 손상된 퍼즐을 생성한다.
• CNN이 원래의 공간적 배열을 예측하고, 누락된 패치를 재구성하며, 조각의 색상을 복원하는 것을 동시에 학습한다.
• 퍼즐 분류, 메시지 복원, 색상 복원 손실을 조합한 다중 과제 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 최종 모델은 PASCAL VOC 2012에서 분류, 검출, 세분화 작업에 대해 전이 학습을 통해 평가된다.
• 최종 레이어(예: fc6, conv5, 또는 conv7)의 특징을 사용하여 최근접 이웃 검색 및 선형 평가를 수행한다.
• 단일 과제 기반 모델(Jigsaw, Inpainting, Colorization) 및 ImageNet 지도 학습 사전 훈련과의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 데이터 손상으로 인해 자기지도 과제의 난이도를 높임으로써 표현 품질이 향상되는가?
• RQ2 퍼즐 조립, 메시지 복원, 색상 복원을 하나의 복잡한 과제로 통합하면 개별 과제보다 더 나은 일반화 성능을 얻을 수 있는가?
• RQ3 제안된 '손상된 퍼즐 조립' 방법은 하류 비전 과제에서 표준 자기지도 학습 및 ImageNet 지도 학습 사전 훈련과 비교해 어떤 성능을 보이는가?
• RQ4 학습된 특징이 시점, 색상, 가림 현상 변화에 대해 얼마나 강건하게 작동하며, 의미적 내용을 얼마나 잘 포착하는가?
• RQ5 다양한 손상된 과제를 함께 최적화하면 단순한 단일 과제 앙상블보다 더 불변성과 이식 가능성이 높은 표현을 생성할 수 있는가?

주요 결과

• 제안된 '손상된 퍼즐 조립' 방법은 자기지도 사전 훈련에서 온 특징을 미세 조정함으로써 PASCAL VOC 2012 분류 및 세분화 작업에서 최신 기준 성능을 달성한다.
• 개별 자기지도 과제(Jigsaw, Inpainting, Colorization)와 그 단순 조합보다도 성능이 뛰어나며, 높은 과제 복잡도 하에서의 공동 최적화의 유용성을 입증한다.
• 최근접 이웃 검색 결과는 모델이 의미적으로 유의미한 특징을 학습하고 있음을 보여주며, 자세, 색상, 흐림 여부에 관계없이 유사한 의미의 객체를 올바르게 검색하고, ImageNet 사전 훈련 모델의 행동을 잘 모방한다.
• 모델은 다양한 시각적 개념으로 잘 일반화되며, 함께 나타나는 객체들(예: 사람과 말, 간병인과 아기)을 검색함으로써 강력한 맥락 이해 능력을 보인다.
• 동일 클래스 내 색상 변화와 시점 변화에 대해 강건하며, 색상 복원 및 퍼즐 조립 기반 모델보다 이 부분에서 뛰어난 성능을 보인다.
• ImageNet에서의 선형 평가 결과가 우수하여, 학습된 표현의 품질을 확인한다.