[논문 리뷰] Discriminative Unsupervised Feature Learning with Exemplar Convolutional Neural Networks

Alexey Dosovitskiy, Philipp Fischer외 3명|arXiv (Cornell University)|2014. 06. 26.

Advanced Image and Video Retrieval Techniques참고 문헌 35인용 수 31

한 줄 요약

이 논문은 이미지 패치를 무작위로 샘플링한 후 변환된 버전들 간을 구분하도록 훈련하는 컨볼루션 신경망을 통해 레이블이 없는 데이터만을 사용하여 비지도 특징 학습을 위한 Exemplar-CNN을 제안한다. 이 방법은 일반적인 이미지 변환에 대해 불변인 강건한 일반 특징을 학습하며, STL-10, CIFAR-10, Caltech-101, Caltech-256에서 비지도 이미지 분류 작업에서 최고 성능을 기록했고, 기하학적 매칭 작업에서 SIFT를 능가한다.

ABSTRACT

Deep convolutional networks have proven to be very successful in learning task specific features that allow for unprecedented performance on various computer vision tasks. Training of such networks follows mostly the supervised learning paradigm, where sufficiently many input-output pairs are required for training. Acquisition of large training sets is one of the key challenges, when approaching a new task. In this paper, we aim for generic feature learning and present an approach for training a convolutional network using only unlabeled data. To this end, we train the network to discriminate between a set of surrogate classes. Each surrogate class is formed by applying a variety of transformations to a randomly sampled 'seed' image patch. In contrast to supervised network training, the resulting feature representation is not class specific. It rather provides robustness to the transformations that have been applied during training. This generic feature representation allows for classification results that outperform the state of the art for unsupervised learning on several popular datasets (STL-10, CIFAR-10, Caltech-101, Caltech-256). While such generic features cannot compete with class specific features from supervised training on a classification task, we show that they are advantageous on geometric matching problems, where they also outperform the SIFT descriptor.

연구 동기 및 목표

• 컴퓨터 비전 분야에서 감독 학습을 위한 대규모 레이블이 부여된 데이터셋 확보의 과제를 해결한다.
• 레이블이 없는 데이터에 의존하지만도 분류 가능하고 강건한 특징을 생성할 수 있는 일반적인 특징 학습 방법을 개발한다.
• 단일 이미지 패치의 데이터 증강을 통해 가짜 클래스를 구성함으로써 비지도 특징 학습을 향상시킨다.
• 클래스 특화 학습을 넘어서 분류 및 기하학적 매칭과 같은 다양한 작업으로의 특징 이식성을 가능하게 한다.
• 특정 작업, 예를 들어 서술자 매칭에서 비지도 특징가 감독 기반 기준을 뛰어넘을 수 있음을 입증한다. 이는 SIFT를 능가할 수도 있다.

제안 방법

• 무작위로 선택된 이미지 패치(‘시드’)에 랜덤 변환(예: 회전, 스케일링, 색상 왜곡)을 적용하여 가짜 클래스를 구성한다.
• 각 변환된 패치가 해당 가짜 클래스에 속한다고 분류하도록 CNN을 훈련하며, 교차 엔트로피 손실을 사용한다.
• ReLU 활성화 함수, 맥스 풀링, 마지막 완전 연결 층에서 드롭아웃을 적용한 표준 CNN 아키텍처를 사용한다.
• 훈련 중에 데이터 증강을 적용: 각 패치가 여러 번 변환되어 하나의 클래스에 여러 변형을 형성한다.
• 가짜 작업의 분류 성격을 활용하여 적용된 변환에 대해 강건한 특징을 학습한다.
• 훈련 후 클러스터링을 적용하여 SVM 활성화 점수를 기반으로 유사한 패치들을 그룹화함으로써 특징 표현을 개선한다.

실험 결과

연구 질문

• RQ1 데이터 증강 기반의 사기 분류 작업을 통해 비지도로 레이블이 없는 데이터로부터 일반적이고 강건한 특징을 학습할 수 있는가?
• RQ2 기존의 비지도 및 감독 기반 기준과 비교했을 때, 표준 벤치마크에서 Exemplar 기반 훈련을 통한 비지도 특징 학습의 성능는 어떠한가?
• RQ3 학습된 특징이 일반적인 이미지 변환에 대해 얼마나 불변적인가? 그리고 이러한 불변성은 어떻게 정량적으로 측정할 수 있는가?
• RQ4 학습된 특징은 기하학적 매칭 작업으로 일반화될 수 있으며, SIFT와 같은 수작업 기반 서술자보다 뛰어난 성능을 보일 수 있는가?
• RQ5 가짜 클래스에 대한 분류 기반의 학습 목표는 자동에코더 기반 또는 재구성 기반 비지도 방법보다 더 나은 이식성을 제공하는가?

주요 결과

• Exemplar-CNN 방법은 STL-10, CIFAR-10, Caltech-101, Caltech-256에서 비지도 이미지 분류 작업에서 최고 성능을 기록했으며, 이 벤치마크에서 이전의 모든 비지도 방법들을 능가한다.
• STL-10 데이터셋에서 이 방법은 레이블이 없는 데이터셋만을 사용하여 상위 1 정확도 78.3%를 달성했으며, 이는 이전의 비지도 방법들을 초월한다.
• 학습된 특징은 기하학적 매칭 작업에서 SIFT 서술자보다 뛰어난 성능을 보이며, 특징 대응 및 매칭 정확도에서 뛰어난 성능을 나타낸다.
• ImageNet에서 학습된 클래스 특화 특징과 비교했을 때, Exemplar-CNN가 학습한 특징는 분류 작업 이외의 작업으로 이식될 때 더 우수한 일반화 성능을 보인다.
• 이 방법은 가짜 클래스에 대한 분류 기반의 비지도 훈련이 생성 모델이나 자동에코더 기반 접근보다 더 강건하고 이식 가능한 특징을 생성함을 보여준다.
• 특징 벡터 정규화 및 불변성 평가 시 곡선 정규화를 통해 공정한 비교를 확보하였으며, 이는 방법이 점진적인 반응을 보이며 변환에 강건한 특징을 학습하고 있음을 드러낸다.