[논문 리뷰] Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination

Zhirong Wu, Yuanjun Xiong외 2명|arXiv (Cornell University)|2018. 05. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 172

한 줄 요약

비지도에서 각 인스턴스를 비모수적으로 구별하고 메모리 뱅크 임베딩과 노이즈 대조 추정을 활용해 이미지 표현을 학습하며, ImageNet 및 Places에서 강력한 성과를 달성하고 준지도 학습 및 객체 탐지로의 전이가 좋습니다.

ABSTRACT

Neural net classifiers trained on data with annotated class labels can also capture apparent visual similarity among categories without being directed to do so. We study whether this observation can be extended beyond the conventional domain of supervised learning: Can we learn a good feature representation that captures apparent similarity among instances, instead of classes, by merely asking the feature to be discriminative of individual instances? We formulate this intuition as a non-parametric classification problem at the instance-level, and use noise-contrastive estimation to tackle the computational challenges imposed by the large number of instance classes. Our experimental results demonstrate that, under unsupervised learning settings, our method surpasses the state-of-the-art on ImageNet classification by a large margin. Our method is also remarkable for consistently improving test performance with more training data and better network architectures. By fine-tuning the learned feature, we further obtain competitive results for semi-supervised learning and object detection tasks. Our non-parametric model is highly compact: With 128 features per image, our method requires only 600MB storage for a million images, enabling fast nearest neighbour retrieval at the run time.

연구 동기 및 목표

• 의미 클래스가 아니라 개별 인스턴스를 구별함으로써 이미지 표현 학습에 동기를 부여한다.
• 대규모 인스턴스 차별화를 위한 확장 가능한 비모수 소프트맥스 분류기를 개발한다.
• 노이즈 대조 추정과 근접 정규화를 통해 학습을 안정화한다.
• 학습된 특징이 준지도 학습 및 객체 탐지로 일반화되는 것을 보인다.
• 학습된 128차원 임베딩의 효율성과 간결함을 보여준다.

제안 방법

• L2-정규화된 특징을 가진 모든 학습 인스턴스에 대해 비모수 소프트맥스 형태로 인스턴스 수준 차별화를 형식화한다.
• 각 클래스 가중치를 저장하지 않고도 P(i|v)를 계산하기 위해 인스턴스 임베딩의 메모리 뱅크 V를 유지한다.
• 노이즈 대조 추정(NCE)을 사용해 소프트맥스를 잡음 분포로 근사하고, 샘플당 비용을 O(n)에서 O(1)로 감소시킨다.
• 반복 간 표현의 큰 변화를 제재하여 최적화를 안정화시키기 위해 근접 규제를 적용한다.
• 메모리 뱅크 임베딩과의 코사인 유사도를 이용한 k-최근접 이웃으로 테스트 이미지를 분류하여 학습과 테스트 간 일관성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비지도 설정에서 개별 인스턴스를 구별하는 것이 명백한 인스턴스 유사성을 보존하는 특징 공간을 학습하게 하는가?
• RQ2 메모리 뱅크를 가진 비모수 소프트맥스가 비지도 특징 학습에서 파라메트릭 소프트맥스보다 우수한가?
• RQ3 NCE와 근접 정규화가 학습 안정성과 표현 품질에 어떤 영향을 미치는가?
• RQ4 학습된 특징이 준지도 작업 및 객체 탐지에 잘 전이되는가?

주요 결과

• 비모수 소프트맥스와 인스턴스 메모리 뱅크가 파라메트릭 소프트맥스에 비해 CIFAR-10 분류에서 눈에 띄는 정도의 향상을 보여준다.
• ImageNet에서 본 방법은 선형 평가에서 46.5% top-1 정확도, 다양한 아키텍처에서 kNN으로 41.0–46.5%를 달성하며 여러 비지도 기준선보다 우수하다.
• Places 205로의 일반화가 강하게 나타나며, 프로토콜 및 아키텍처에 따라 41.6–45.5% top-1의 성과를 달성한다.
• 임베딩 크기가 약 128 차원으로, 100만 이미지의 경우 약 600 MB의 용량과 빠른 최근접 이웃 검색(이미지당 약 20 ms)을 제공하는 컴팩트한 표현을 제공한다.
• 레이블 데이터가 제한된 준지도 학습은 크게 이익을 얻으며, 같은 작은 라벨 하위집합에서 학습된 감독 학습을 종종 능가한다.
• 객체 탐지에서는 PASCAL VOC 2007에서 경쟁력 있는 mAP를 달성하며, 더 깊은 네트워크(예: ResNet-50)에서 성능이 향상된다(예: 65.4% mAP).