[논문 리뷰] Unsupervised Visual Representation Learning by Context Prediction

Carl Doersch, Abhinav Gupta외 1명|arXiv (Cornell University)|2015. 05. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 58인용 수 280

한 줄 요약

이 논문은 이미지 패치 간의 상대적 공간 위치를 예측하도록 훈련하는 컨volutional 신경망을 통해 비지도 시각적 표현 학습을 위한 자기지도 학습 방법을 제안한다. 이미지 내의 문맥을 지도 신호로 활용함으로써, 인간의 레이블이 전혀 필요 없이도 Pascal VOC에서 객체 검출 및 비지도 객체 탐지 작업에서 최신 기술 수준의 성능을 달성할 수 있는 풍부하고 이식 가능한 특징을 학습한다.

ABSTRACT

This work explores the use of spatial context as a source of free and plentiful supervisory signal for training a rich visual representation. Given only a large, unlabeled image collection, we extract random pairs of patches from each image and train a convolutional neural net to predict the position of the second patch relative to the first. We argue that doing well on this task requires the model to learn to recognize objects and their parts. We demonstrate that the feature representation learned using this within-image context indeed captures visual similarity across images. For example, this representation allows us to perform unsupervised visual discovery of objects like cats, people, and even birds from the Pascal VOC 2011 detection dataset. Furthermore, we show that the learned ConvNet can be used in the R-CNN framework and provides a significant boost over a randomly-initialized ConvNet, resulting in state-of-the-art performance among algorithms which use only Pascal-provided training set annotations.

연구 동기 및 목표

• 비용이 많이 드는 인간 레이블이 필요 없이 인터넷 규모의 데이터셋에 대한 시각적 표현 학습을 확장하는 데 도전한다.
• 비라벨 이미지의 공간적 문맥이 풍부한 시각적 특징을 학습하는 데 있어 무료이자 효과적인 지도 신호로 기능할 수 있는지 탐색한다.
• 카테고리 레이블 없이도 객체 수준 및 부분 수준의 시각적 구조를 학습하도록 유도하는 자기지도 사전 과제를 개발한다.
• 학습된 표현이 이미지 간으로 일반화되는지, 객체 검출 및 비지도 탐지와 같은 후행 작업에서 성능 향상에 기여하는지 평가한다.
• 인스턴스 수준의 문맥 예측이 실제 비전 작업에 유용한 카테고리 수준의 시각적 표현을 생성할 수 있음을 보여준다.

제안 방법

• 모델은 사전 과제를 통해 훈련된다: 동일한 이미지에서 두 개의 랜덤 패치를 취하고, 두 번째 패치가 첫 번째 패치에 대해 차지하는 상대적 공간 위치(8가지 가능한 구성 중 하나)를 예측한다.
• 이 방법은 각 패치에서 특징을 추출하기 위해 컨volutional 신경망(ConvNet)을 사용하고, 상대적 위치를 분류하기 위해 교차 엔트로피 손실을 최적화한다.
• 훈련 데이터는 자연 이미지의 랜덤 크롭 쌍으로 구성되며, 사전 훈련 중에 카테고리 레이블이나 바운딩 박스는 사용되지 않는다.
• 사전 훈련 이후, 특징 추출기는 R-CNN 프레임워크를 사용해 후행 작업(예: 객체 검출)에서 미세조정된다.
• 비지도 객체 탐지를 위해, 모델의 특징을 이용해 최근접 이웃 검색과 기하학적 검증을 통해 패치를 군집화하고, 커버리지와 순도를 극대화하기 위해 반복적인 군집 선택 절차를 수행한다.
• 이 접근법은 Pascal VOC 2007 및 파리 스트리트 뷰 데이터셋에서 평가되었으며, 순도-커버리지 곡선과 사전 과제의 분류 정확도를 사용한다.

실험 결과

연구 질문

• RQ1 비라벨 이미지의 공간적 문맥이 풍부한 시각적 표현을 학습하는 데 강력한 지도 신호로 기능할 수 있는가?
• RQ2 상대적 패치 위치를 예측하도록 훈련된 모델이 객체와 그 부분을 인식하는 데 성공하는가?
• RQ3 이러한 자기지도 표현이 이미지 간으로 일반화되어 객체 검출과 같은 카테고리 수준의 작업에서 성능 향상에 기여하는가?
• RQ4 학습된 표현이 비지도 시각적 탐지에 얼마나 잘 기여하는가?
• RQ5 문맥 예측 방법의 성능이 후행 작업에서 지도 학습 또는 다른 자기지도 기반 베이스라인과 비교해 어떻게 되는가?

주요 결과

• 상대적 위치 예측 과제에서 모델은 38.4%의 정확도를 기록했으며, 12.5%의 우연한 수준보다 유의미하게 높아 과제가 도전적이지만 학습 가능하다는 것을 시사한다.
• Pascal VOC 2007 데이터셋에서, 학습된 표현은 R-CNN 프레임워크에서 무작위 초기화된 ConvNet보다 뚜렷한 성능 향상을 보였으며, Pascal에서 제공한 레이블만을 사용한 방법 중 최신 기술 수준의 성능을 달성했다.
• 학습된 표현은 카테고리 수준의 지도 없이도 Pascal VOC 2011 데이터셋에서 고양이, 사람, 새와 같은 객체를 비지도로 탐지할 수 있도록 한다.
• Pascal VOC 2007의 일부 데이터셋에서, 간단한 군집 선택 절차에도 불구하고 최대 50%의 커버리지를 달성했고, 중간 수준의 순도를 기록하여 강력한 불변성과 일반화 능력을 보였다.
• ImageNet에서의 검증 정확도(40.3%)가 훈련 정확도(39.5%)와 유사하게 유지되어 과적합이 최소화되고 분포 이질성에 대해 강건함을 보였다.
• 객체 바운딩 박스 내부의 패치에 국한된 경우에도 모델은 39.2%의 정확도를 기록했으며, 이는 객체 구조에 민감함을 시사하지만, 비객체 영역에서도 높은 성능를 유지하여 더 넓은 시나리오 이해 능력을 보였다.