[논문 리뷰] Investigating the Role of Negatives in Contrastive Representation Learning

Jordan T. Ash, Surbhi Goel외 2명|arXiv (Cornell University)|2021. 06. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 11

한 줄 요약

이 논문은 대조적 표현 학습에서 음성 샘플 수가 수행하는 역할을 조사하며, 기반 데이터 개념에 따라 최적의 음성 수가 스케일링됨을 시사하는 이론적 충돌-커버리지 트레이드오프를 제안한다. 실증적으로는 자연어 처리(NLP) 과제에서 중간 수준의 음성 수가 가장 높은 성능을 내는 것으로 나타났으며, 비전 과제에서는 일관되지 않은 민감도를 보여 이론과 실무 간의 격차를 드러낸다.

ABSTRACT

Noise contrastive learning is a popular technique for unsupervised representation learning. In this approach, a representation is obtained via reduction to supervised learning, where given a notion of semantic similarity, the learner tries to distinguish a similar (positive) example from a collection of random (negative) examples. The success of modern contrastive learning pipelines relies on many parameters such as the choice of data augmentation, the number of negative examples, and the batch size; however, there is limited understanding as to how these parameters interact and affect downstream performance. We focus on disambiguating the role of one of these parameters: the number of negative examples. Theoretically, we show the existence of a collision-coverage trade-off suggesting that the optimal number of negative examples should scale with the number of underlying concepts in the data. Empirically, we scrutinize the role of the number of negatives in both NLP and vision tasks. In the NLP task, we find that the results broadly agree with our theory, while our vision experiments are murkier with performance sometimes even being insensitive to the number of negatives. We discuss plausible explanations for this behavior and suggest future directions to better align theory and practice.

연구 동기 및 목표

• 배치 크기와 같은 혼란 요인들로부터 대조 학습에서 음성 샘플 수의 영향을 분리하여 분석하기 위해.
• Saunshi 등 (2019)의 기반 오차 전이 정리에 기반한 개선된 오차 전이 경계를 사용해, 음성 수가 표현 품질에 어떻게 영향을 주는지 이론적으로 분석하기 위해.
• NLP 및 비전 벤치마크에서의 다운스트림 성능에 대해 음성 수의 영향을 실증적으로 평가하기 위해.
• 특히 비전 과제에서 이론적 예측과 실증 결과 사이의 괴리를 규명하기 위해.
• 이론과 실무 성능을 일치시켜 향후 대조 학습 시스템 설계를 이끌기 위해.

제안 방법

• 이론적 분석은 Saunshi 등 (2019)의 기반 오차 전이 정리에 기반한 개선된 오차 전이 정리 사용으로, NCE 오차를 다운스트림 분류 오차와 연결한다.
• 프레임워크는 의미적 유사도를 이산 클래스로 모델링하여 음성 샘플링이 커버리지 및 충돌 위험에 어떻게 영향을 주는지 분석할 수 있도록 한다.
• 실증 평가에서는 고정된 배치 크기와 변동하는 음성 수를 가진 선형 프로브 설정을 사용하여 Wiki-3029(NLP) 및 CIFAR-10/SVHN(비전)에서 평가한다.
• NLP의 경우, 데이터 증강 없이 백오프-오브-워드 모델을 사용한다. 비전의 경우, 데이터 증강 유무에 따라 ResNet-18을 사용한다.
• 성능는 다수의 랜덤 시드를 통해 평균 및 훈련된 선형 분류기 정확도로 측정되어 통계적 신뢰성을 확보한다.
• 하이퍼파rameter는 모든 실행에서 동일하게 설정되며, NLP의 경우 배치 크기를 1000으로 고정하고, 비전의 경우 400 에포크로 설정하여 k의 영향을 고립시킨다.

실험 결과

연구 질문

• RQ1 음성 샘플 수는 대조 학습에서 표현 품질에 어떻게 영향을 주는가?
• RQ2 실제 NLP 및 비전 벤치마크에서 이론적 충돌-커버리지 트레이드오프가 실증적으로 성립하는가?
• RQ3 왜 비전 과제는 NLP에 비해 음성 수에 대해 일관되지 않은 민감도를 보이는가?
• RQ4 음성 수를 변화시킬 때 배치 크기가 대조 학습의 성능에 얼마나 혼란을 줄 수 있는가?
• RQ5 오차 전이에 대한 이론적 경계는 실무에서 최적의 음성 샘플링 전략을 예측할 수 있는가?

주요 결과

• Wiki-3029에서의 NLP 실험에서 중간 수준의 k(예: k=50)가 가장 높은 다운스트림 정확도를 기록하여 이론적 충돌-커버리지 트레이드오프를 지지한다.
• 고정된 배치 크기 B=1000일 때, 모든 N 클래스(N=50에서 3029까지)에서 k=50에서 최고 성능를 기록하며, 최고와 최악의 k 값 간 성능 격차는 약 3%에 이른다.
• 비전 과제에서는 SVHN 및 CIFAR-10에서 조건이 변화하더라도 성능가 뚜렷한 민감도를 보이지 않으며, 이는 음성 수가 표현 품질에 거의 영향을 주지 않는다는 것을 시사한다.
• 비전 데이터셋에서 훈련된 선형 분류기 성능은 일관된 추세를 보이며, 큰 배치 크기와 중간 수준의 k에서 최고 성능를 기록하지만, NLP에 비해 k의 영향은 덜 두드러진다.
• 증강 기반의 SVHN에서의 평균 분류기 성능는 훈련된 분류기 결과보다 유의미하게 열 劣하다. 이는 증강 전략의 불일치로 인한 것으로 보인다.
• 실험 간 표준편차는 항상 낮게 유지됨(≤0.28)하여 신뢰할 수 있는 추세를 보이고 관측된 성능 격차의 노이즈를 감소시킨다.