[논문 리뷰] EqCo: Equivalent Rules for Self-supervised Contrastive Learning

Benjin Zhu, Junqiang Huang외 3명|arXiv (Cornell University)|2020. 10. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 53인용 수 4

한 줄 요약

EqCo는 음성 샘플 수에 따라 InfoNCE 손실의 마진 항을 동적으로 조정함으로써 대비 자기지도 학습의 안정성을 이론적으로 근거화한 방법을 제안한다. 이로 인해 쿼리당 최소 16개의 음성 샘플만으로도 높은 성능을 달성할 수 있으며, 대용량 배치 학습이나 메모리 백업의 필요성을 제거한다. 이로 인해 ImageNet 선형 평가 정확도가 MoCo v2와 유사한 성능을 보이며, 쿼리당 음성 쌍 수가 16개에 불과하다.

ABSTRACT

In this paper, we propose EqCo (Equivalent Rules for Contrastive Learning) to make self-supervised learning irrelevant to the number of negative samples in the contrastive learning framework. Inspired by the InfoMax principle, we point that the margin term in contrastive loss needs to be adaptively scaled according to the number of negative pairs in order to keep steady mutual information bound and gradient magnitude. EqCo bridges the performance gap among a wide range of negative sample sizes, so that for the first time, we can use only a few negative pairs (e.g., 16 per query) to perform self-supervised contrastive training on large-scale vision datasets like ImageNet, while with almost no accuracy drop. This is quite a contrast to the widely used large batch training or memory bank mechanism in current practices. Equipped with EqCo, our simplified MoCo (SiMo) achieves comparable accuracy with MoCov2 on ImageNet (linear evaluation protocol) while only involves 16 negative pairs per query instead of 65536, suggesting that large quantities of negative samples is not a critical factor in contrastive learning frameworks.

연구 동기 및 목표

• 대비 자기지도 학습에서 음성 샘플 수가 많아야 하는지에 대한 경험적이고 이론적인 불확실성을 해결하기 위해.
• 음성 샘플 수가 변할 때 상호정보량 하한과 기울기 크기의 안정성을 확보하기 위해.
• 특히 작은 K에 대해 다양한 음성 샘플 크기에서 일관된 성능을 유지할 수 있는 방법을 개발하기 위해.
• 손실이 적절히 校정되어 있다면 대규모 음성 샘플링이 대비 학습에서 필수적인 요소가 아니라는 것을 입증하기 위해.
• 대용량 배치 학습과 메모리 백업 기반 기법에 대한 이론적으로 탄탄한 대안을 제공하기 위해.

제안 방법

• 음성 샘플 수 K에 따라 InfoNCE 손실의 마진 항을 동적으로 조정하는 등가 규칙을 도입하여 상호정보량 하한의 안정성을 보장한다.
• 다른 K 값에 대해 InfoNCE 손실이 상호정보량 추정 측면에서 동일한 성질을 가지기 위한 조건(Eq. 5)을 유도한다.
• 학습 가능한 하이퍼파rameter α를 통해 마진 항을 적응적으로 조정하는 새로운 손실 형식을 제안하며, 이는 효과적인 음성 샘플 수를 제어한다.
• 온도 스케일링된 대비 손실에 적응형 마진을 적용하여 다양한 K에서 일관된 기울기 크기를 유지한다.
• 상관된 가우시안 변수를 사용한 토이 상호정보량 추정 작업을 통해 EqCo가 K에 관계없이 안정적인 상호정보량 추정을 보임을 검증한다.
• EqCo를 단순화된 MoCo 변형(SiMo)에 적용하여 대용량 배치 메모리 백업 대신 K=16의 작은 음성 샘플 수를 사용하고, ImageNet에서 학습한다.

실험 결과

연구 질문

• RQ1 대비 학습에서 음성 샘플 수를 늘릴수록 성능 향상이 발생하는 것은 상호정보량 추정의 향상 때문인지, 아니면 기울기 크기의 불균형 때문인가?
• RQ2 손실이 적절히 校정되어 있다면 대비 학습에서 다양한 음성 샘플 수 K에 대해 상호정보량 하한을 안정화시킬 수 있는가?
• RQ3 대용량 배치 학습이나 메모리 백업이 필요한 이유는 마진 항이 제대로 스케일링되지 않았기 때문인지, 음성 샘플의 수 때문인가?
• RQ4 손실이 적절히 校정되어 있다면 작은 음성 샘플 수(K=16 등)로도 대용량 배치 방법(K=65536 등)과 유사한 성능을 달성할 수 있는가?
• RQ5 적응형 마진을 가진 InfoNCE 손실(EqCo)은 MoCo를 초월한 다른 대비 학습 프레임워크로 일반화 가능한가?

주요 결과

• EqCo는 다양한 K 값에 대해 상호정보량 하한과 기울기 크기를 안정화시켜 대비 손실이 음성 샘플 수에 대해 불변이 되도록 한다.
• ImageNet 선형 평가 프로토콜에서, EqCo를 사용한 SiMo는 쿼리당 16개의 음성 쌍만으로도 71.8%의 Top-1 정확도를 달성하며, MoCo v2의 65,536개의 음성 샘플과 유사한 성능을 보인다.
• 토이 상호정보량 추정 작업에서 EqCo는 모든 K 값에서 실제값에 가까운 상호정보량을 안정적으로 추정하지만, 표준 InfoNCE는 K가 증가함에 따라 점점 더 편향되게 추정한다.
• K ≤ 16일 경우 MoCo v2는 EqCo를 적용해도 크게 성능이 떨어지므로, 모델 아키텍처와 학습 다이내믹스 역시 이 방법의 효과성에 영향을 미친다는 것을 시사한다.
• EqCo를 사용할 경우 K를 256에서 65,536으로 늘릴 때 성능 향상이 거의 없어지며, 이는 수익 감소의 경향을 보인다.
• EqCo를 통해 단순화된 MoCo 변형(SiMo)이 계산 비용과 메모리 사용을 크게 줄이며 MoCo v2의 성능을 재현할 수 있다.