[논문 리뷰] Prototypical Contrastive Learning of Unsupervised Representations

Junnan Li, Pan Zhou외 2명|arXiv (Cornell University)|2020. 05. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 483

한 줄 요약

프로토타입 대비 학습(PCL)은 프로토타입을 도입하고 EM 기반 학습 루프를 통해 대조 학습과 클러스터링을 결합하여 의미 구조를 인코딩하고 비지도 설정에서 전이 성능을 향상시키는 표현을 생성합니다.

ABSTRACT

This paper presents Prototypical Contrastive Learning (PCL), an unsupervised representation learning method that addresses the fundamental limitations of instance-wise contrastive learning. PCL not only learns low-level features for the task of instance discrimination, but more importantly, it implicitly encodes semantic structures of the data into the learned embedding space. Specifically, we introduce prototypes as latent variables to help find the maximum-likelihood estimation of the network parameters in an Expectation-Maximization framework. We iteratively perform E-step as finding the distribution of prototypes via clustering and M-step as optimizing the network via contrastive learning. We propose ProtoNCE loss, a generalized version of the InfoNCE loss for contrastive learning, which encourages representations to be closer to their assigned prototypes. PCL outperforms state-of-the-art instance-wise contrastive learning methods on multiple benchmarks with substantial improvement in low-resource transfer learning. Code and pretrained models are available at https://github.com/salesforce/PCL.

연구 동기 및 목표

• 비지도 시각 표현에서 의미 구조를 포착하기 위해 대조 학습과 클러스터링을 연결한다.
• 네트워크 매개변수의 EM 형태 최적화를 가능하게 하도록 잠재 변수로서 프로토타입을 도입한다.
• 프로토NCE를 개발한다, 프로토타입 기반의 집중 추정치를 사용하는 일반화된 대조 손실.
• 벤치마크 전반에서 전이 학습 및 클러스터링 품질의 향상을 입증한다.

제안 방법

• 프로토PCL을 잠재 변수로서 프로토타입을 이용한 EM 알고리즘으로 형식화한다.
• E-단계: 모멘텀 인코딩 피처에 대해 k-평균을 수행하여 프로토타입을 얻고 각 샘플을 군집에 할당한다.
• M-단계: 샘플 인스턴스 수준의 InfoNCE와 프로토타입 기반 항을 결합한 손실 ProtoNCE를 최소화하여 네트워크 매개변수를 업데이트한다.
• 할당의 소프트함을 조정하기 위해 프로토타입별 집중 추정치 phi를 도입한다.
• 여러 가지 granularity로 샘플을 클러스터링하기 위해 여러 K 값을 사용하고 손실을 모은다.
• ProtoNCE는 InfoNCE와 유사한 형태로 축소되지만 프로토타입을 통한 의미 구조 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 클러스터링 프로토타입을 대조 학습에 통합하면 인스턴스 구분을 넘어 의미 구조를 반영하는 임베딩을 얻을 수 있는가?
• RQ2 EM 기반의 프로토타입 프레임워크가 순수 인스턴스 중심 대조 방법과 비교하여 전이 학습 및 클러스터링 품질을 개선하는가?

주요 결과

• 다중 벤치마크에서 PCL은 최신 인스턴스 기반 대조 방법을 능가하며, 특히 저자원 전이 설정에서 두드러진 성능을 보인다.
• ProtoNCE는 클러스터 크기의 균형을 맞추고 자명한 붕괴를 방지하는 동적 집중 추정치를 포함한다.
• 프로토타입은 인스턴스 특징보다 클래스 레이블과의 상호정보가 더 높아 보다 풍부한 의미 인코딩을 시사한다.
• ImageNet에서 AMI와 같은 클러스터링 지표가 더 좋고, 냉동(backbone으로 고정)으로 사용할 때 객체 탐지 성능이 향상된다.
• PCL v2 및 관련 구현은 선형 분류와 반지도학습 전이 결과를 추가로 향상시킨다.