[논문 리뷰] A Theoretical Analysis of Contrastive Unsupervised Representation Learning

Sanjeev Arora, Hrishikesh Khandeparkar외 3명|arXiv (Cornell University)|2019. 02. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 258

한 줄 요약

이 논문은 대조적 무감독 표현 학습을 위한 이론적 프레임워크를 제시하고, 의미론적 유사성을 형식화하기 위해 잠재 클래스(latent classes)를 도입하며, 평균 분류자(mean classifiers)를 사용한 다운스트림 선형 분류의 일반화 보장을 증명하고, 다중 부정(multiple negatives)으로의 확장 및 블록 기반 유사성에 대해 실험적으로 테스트한다.

ABSTRACT

Recent empirical works have successfully used unlabeled data to learn feature representations that are broadly useful in downstream classification tasks. Several of these methods are reminiscent of the well-known word2vec embedding algorithm: leveraging availability of pairs of semantically "similar" data points and "negative samples," the learner forces the inner product of representations of similar pairs with each other to be higher on average than with negative samples. The current paper uses the term contrastive learning for such algorithms and presents a theoretical framework for analyzing them by introducing latent classes and hypothesizing that semantically similar points are sampled from the same latent class. This framework allows us to show provable guarantees on the performance of the learned representations on the average classification task that is comprised of a subset of the same set of latent classes. Our generalization bound also shows that learned representations can reduce (labeled) sample complexity on downstream tasks. We conduct controlled experiments in both the text and image domains to support the theory.

연구 동기 및 목표

• 잠재 클래스로부터 의미론적 유사성을 형식화하고 이러한 클래스의 부분 집합으로 다운스트림 작업이 구성된다는 것을 보인다.
• 대조적 무감독 손실로 학습된 표현이 평균 분류기를 사용하는 경우 평균 감독 손실이 낮아진다는 것을 보인다.
• 학습된 표현에 대한 일반화 경계를 리다메르 샤 요법(Rademacher 복잡도)을 기반으로 제시한다.
• 음수 샘플링의 한계를 조사하고 더 큰 유사 포인트 블록을 활용하기 위한 확장을 제안한다.
• 텍스트 및 이미지 도메인에서 제어된 실험으로 이론을 검증한다.

제안 방법

• 같은 잠재 클래스에서 뽑힌 쌍과 클래스 분포 ρ를Similarity로Define 한다.
• 유사 샘플과 음수 샘플을 사용한 비감독 대조 손실 L_un과 선형 분류기에 의한 감독 손실 L_sup를 도입한다.
• L_sup가 L_un의 함수와 일반화 항 Gen_M(리다메르 샤 평균)으로 유계임을 보인다.
• 평균 분류기 W^μ의 행이 클래스 평균 μ_c인 것을 이용해 비감독 손실과 감독 손실을 연결한다.
• 클래스 충돌(tau)과 클래스 내부 편차 s(f)이 성능 보장에 미치는 영향을 분석한다.
• k개의 음수 샘플 및 샘플 블록으로 평균화된 블록 기반 유사 손실로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 무감독 대조 손실을 최소화하는 것이 언제 감독(선형) 분류 성능을 잘 보장하는가?
• RQ2 클래스 충돌(tau)과 클래스 내부 변동성 s(f)이 대조 학습의 보장에 어떤 영향을 주는가?
• RQ3 다중 음수 샘플과 블록 기반 유사성을 도입하여 보장 및 실무를 개선할 수 있는가?
• RQ4 대조 학습의 한계는 무엇이며 전체 감독 표현에 비해 경쟁력 있는 보장을 회복하도록 확장할 수 있는가?

주요 결과

• 대리 관계가 설정된다: 잠재 클래스에 대해 평균화된 경우에 비감독 손실이 낮으면 감독 성능도 낮다.
• L_sup^μ(¬)가 L_un^{neq}(f)와 클래스 내부 편차 s(f)에 의해 제어될 수 있으며, Gen_M이 유한 샘플 효과를 포착한다는 경계가 나타난다.
• 음수 샘플링은 클래스 충돌로 인해 한계가 있으며, 이러한 상황이 언제 손해가 되고 어떻게 완화할 수 있는지 프레임워크가 정량적으로 제시한다.
• 유사한 포인트의 블록을 사용하는 것이 쌍 대신 더 촘촘한 경계를 제공하고 경험적으로 개선될 수 있다.
• 텍스트와 이미지 도메인에서의 제어된 실험으로 이론적 프레임워크를 뒷받침한다.