[논문 리뷰] Deep unsupervised learning through spatial contrasting

Elad Hoffer, Itay Hubara외 1명|arXiv (Cornell University)|2016. 10. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 14

한 줄 요약

이 논문은 이미지 내에서 공간적으로 국소적인 특징을 대조함으로써 특징 학습을 향상시키는 새로운 비지도 사전학습 방법인 공간 대비(Spatial Contrasting, SC)를 제안한다. 표준 역전파를 사용하는 미분 가능한 대비 손실을 통해 훈련함으로써, SC는 STL-10에서 81.3%의 정확도로 최신 기준 성능(SOTA)을 달성하고, CIFAR-10 및 MNIST에서도 경쟁 가능한 결과를 보이며, 초기화되지 않은 모델에 비해 상당한 성능 향상을 보여준다.

ABSTRACT

Convolutional networks have marked their place over the last few years as the best performing model for various visual tasks. They are, however, most suited for supervised learning from large amounts of labeled data. Previous attempts have been made to use unlabeled data to improve model performance by applying unsupervised techniques. These attempts require different architectures and training methods. In this work we present a novel approach for unsupervised training of Convolutional networks that is based on contrasting between spatial regions within images. This criterion can be employed within conventional neural networks and trained using standard techniques such as SGD and back-propagation, thus complementing supervised methods.

연구 동기 및 목표

• 기본적인 아키텍처 변경 없이 일반화 성능을 향상시키는 단순하고 효과적인 컨volution 네트워크를 위한 비지도 사전학습 기준을 개발하는 것.
• 공간적 특징 대비를 바탕으로 종단간 미분 가능한 손실 함수를 정의함으로써 표준 역전파와 SGD 훈련을 가능하게 하는 것.
• 비지도 사전학습을 통해 공간 대비를 적용할 경우, 레이블 데이터가 제한된 상황에서 특히 두드러진 성능 향상이 이루어질 수 있음을 보여주는 것.
• 미래의 준지도 학습 프레임워크의 기초로 공간 대비의 잠재력을 탐색하는 것.

제안 방법

• 이 방법은 동일한 이미지에서 유래한 양의 공간 패치(positive patches) 간의 일치를 최대화하고, 다른 이미지에서 유래한 음의 패치(negative patches) 간의 일치를 최소화하는 대비 손실을 정의한다.
• 컨volution 네트워크의 특징 맵에서 공간 패치를 추출하고, 프로젝션 헤드를 사용하여 표현 공간에 매핑한다.
• 온도 조정된 교차 엔트로피를 양의 및 음의 패치 쌍 간에 사용하여 대비 손실을 계산함으로써 기울기 기반 최적화를 가능하게 한다.
• 손실는 미분 가능하며, 표준 역전파와 SGD를 사용하여 감독 학습 목표와 함께 공동으로 훈련할 수 있다.
• 사전학습된 네트워크는 레이블이 적은 소수의 예시만을 사용하여 최종 감독 학습 과제에 맞추어 미세조정된다.
• 이 방법은 표준 CNN 아키텍처와 호환되며, 특수한 훈련 절차나 네트워크 수정 없이도 적용 가능하다.

실험 결과

연구 질문

• RQ1 이미지 내 공간 영역 기반의 대비 손실이 컨volution 네트워크의 비지도 표현 학습을 향상시킬 수 있는가?
• RQ2 공간 대비 사전학습이 감독 분류 과제에 대해 미세조정될 때 더 나은 일반화 성능을 이끌어낼 수 있는가?
• RQ3 기존의 비지도 방법들인 오토인코더, 예시 네트워크, 래더 네트워크와 비교했을 때 공간 대비의 성능 및 훈련 효율성은 어떠한가?
• RQ4 훈련 중 감독 손실과 결합함으로써 공간 대비를 준지도 학습으로 확장할 수 있는가?

주요 결과

• STL-10 데이터셋에서 제안된 공간 대비 사전학습은 테스트 정확도 81.3%를 달성하여 새로운 최신 기준 성능(SOTA)을 수립했다.
• 사전학습 없이 동일한 모델을 사용한 결과 정확도는 72.6%에 그쳐, SC 초기화가 가져오는 상당한 이점이 있음을 입증했다.
• 레이블이 4,000개 뿐인 CIFAR-10에서 이 방법은 테스트 정확도 79.2%를 기록했으며, 이는 이전의 비지도 방법을 뛰어넘고, 래더 네트워크와 같은 준지도 모델의 성능에 가까워졌다.
• MNIST에서는 SC 사전학습을 적용함으로써 테스트 오차가 0.63%에서 0.34%로 감소하여, 더 간단한 데이터셋에서도 일관된 성능 향상이 이루어짐을 보였다.
• 모든 데이터셋에서 일관된 향상이 관찰되어, 공간 대비가 비지도 데이터로부터 유용한 불변성과 공간적 구조를 효과적으로 학습함을 시사한다.
• 이 방법은 표준 훈련 파ip라인과 호환되며, 감독 손실과 조합 가능하므로 준지도 학습에 매우 큰 잠재력을 지닌다.