[논문 리뷰] Unsupervised Representation Learning by InvariancePropagation

Feng Wang, Huaping Liu외 2명|arXiv (Cornell University)|2020. 10. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 21

한 줄 요약

이 논문은 표현 공간 내에서 반복적인 k-최근접 이웃 전파를 통해 의미적으로 일관된 카테고리 수준의 양성 샘플을 발견하는 새로운 비지도 표현 학습 방법인 Invariance Propagation (InvP)를 제안한다. 높은 내부 클래스 변동성을 보이는 어려운 양성 샘플에 초점을 맞추어 InvP는 최신 기술 수준의 성능을 달성하였으며, ImageNet 선형 분류에서 71.3%의 top-1 정확도와 1%의 라벨 데이터 피니팅으로 78.2%의 top-5 정확도를 기록하였다.

ABSTRACT

Unsupervised learning methods based on contrastive learning have drawn increasing attention and achieved promising results. Most of them aim to learn representations invariant to instance-level variations, which are provided by different views of the same instance. In this paper, we propose Invariance Propagation to focus on learning representations invariant to category-level variations, which are provided by different instances from the same category. Our method recursively discovers semantically consistent samples residing in the same high-density regions in representation space. We demonstrate a hard sampling strategy to concentrate on maximizing the agreement between the anchor sample and its hard positive samples, which provide more intra-class variations to help capture more abstract invariance. As a result, with a ResNet-50 as the backbone, our method achieves 71.3% top-1 accuracy on ImageNet linear classification and 78.2% top-5 accuracy fine-tuning on only 1% labels, surpassing previous results. We also achieve state-of-the-art performance on other downstream tasks, including linear classification on Places205 and Pascal VOC, and transfer learning on small scale datasets.

연구 동기 및 목표

• 대부분의 대비 학습 방법이 인스턴스 수준의 불변성에 집중하는 데에 한계가 있음을 고려하여, 인스턴스 간 관계를 통해 카테고리 수준의 불변성을 학습하는 것.
• 표현 공간의 고밀도 영역에서 내부 클래스 변동성이 풍부한 양성 샘플을 발견하여 표현의 강건성을 향상시키는 것.
• 앵커와의 유사도가 낮은 양성 샘플에 초점을 맞춘 어려운 샘플링 전략을 개발하여 학습된 특징의 추상화 및 불변성 향상.
• 인간 라벨링이 없는 상태에서 선형 분류, 전이 학습, 준지도 학습과 같은 후속 작업에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• InvP는 임베딩 공간에 k-최근접 이웃(k-NN) 그래프를 구축하여 국소 불변성을 반복적으로 전파하고, 동일한 카테고리에 속하는 의미적으로 일관된 양성 샘플을 식별한다.
• 이 방법은 양성 샘플이 고밀도 영역에 위치하도록 보장하여 준지도 학습의 부드러움 가정과 일치시켜 일반화 능력을 향상시킨다.
• 유사도가 낮은 양성 샘플을 우선시하는 어려운 샘플링 전략을 도입하여 더 큰 내부 클래스 변동성을 제공함으로써 더 나은 불변성 학습을 가능하게 한다.
• 대trastive 목적 함수를 사용하여 앵커와 그 어려운 양성 샘플 간의 일치를 최대화하고 음성 샘플을 분리하도록 모델을 훈련한다.
• 훈련 중에 표현이 변화함에 따라 k-NN 그래프를 동적으로 갱신하여 의미적 일관성을 유지한다.
• 백본 네트워크(예: ResNet-50)는 양성 쌍의 군집화를 장려하는 대비 손실을 사용하여 엔드 투 엔드로 최적화된다.

실험 결과

연구 질문

• RQ1 상호 인스턴스 관계를 통해 카테고리 수준의 불변성을 학습하면 인스턴스 수준의 불변성 초월하여 비지도 표현 학습을 향상시킬 수 있는가?
• RQ2 표현 공간 내에서 반복적인 k-NN 전파가 의미적으로 일관된 양성 샘플을 어떻게 발견하는가?
• RQ3 유사도가 낮은 양성 샘플(즉, 앵커와의 유사도가 낮은 샘플)에 초점을 맞추면 학습된 표현의 강건성과 추상화 능력이 향상되는가?
• RQ4 InvP는 라벨 데이터 없이 선형 평가, 전이 학습, 준지도 학습 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• InvP는 1% 라벨 데이터 피니팅으로 ImageNet 선형 분류에서 71.3%의 top-1 정확도와 78.2%의 top-5 정확도를 기록하여 이전 방법들을 초월하였다.
• Places205와 Pascal VOC2007에서 InvP는 선형 분류에서 최신 기술 수준의 성능를 달성하여 다양한 데이터셋 간의 강력한 일반화 능력을 보였다.
• InvP의 유사도 분포는 인스턴스 구분 기반 방법(피크가 약 0.5)과 비교해 유의미하게 높고 분리 가능한 양성 유사도(피크 약 0.9)를 보이며 더 강력한 카테고리 수준의 불변성을 나타낸다.
• 정성적 분석 결과 어려운 양성 샘플은 의미적 내용을 유지하면서도 다양한 저수준 변동성(예: 색상, 시야, 무늬)을 도입하여 불변성을 향상시킨다.
• 일부 설정에서 Supervised 기반 모델보다도 성능이 뛰어나, InvP를 사용한 비지도 학습이 데이터의 내재된 구조를 효과적으로 포착할 수 있음을 시사한다.
• 이웃 시각화 결과는 InvP가 동일한 카테고리에 속하는 의미적으로 유사한 인스턴스를 고밀도 영역에 성공적으로 군집화하고 있음을 확인한다.