[논문 리뷰] Improved Baselines with Momentum Contrastive Learning

Xinlei Chen, Haoqi Fan외 2명|arXiv (Cornell University)|2020. 03. 09.

Multimodal Machine Learning Applications참고 문헌 17인용 수 2,109

한 줄 요약

이 논문은 SimCLR에서 영감을 받은 개선들(MLP 프로젝션 헤드와 더 강력한 데이터 증강)을 MoCo에 접목시켜 더 강력한 비지도 baselines를 달성하고, SimCLR을 능가하며 대형 학습 배치가 필요하지 않음을 보인다. 또한 8개의 GPU에서 메모리 및 시간 비용을 분석한다.

ABSTRACT

Contrastive unsupervised learning has recently shown encouraging progress, e.g., in Momentum Contrast (MoCo) and SimCLR. In this note, we verify the effectiveness of two of SimCLR's design improvements by implementing them in the MoCo framework. With simple modifications to MoCo---namely, using an MLP projection head and more data augmentation---we establish stronger baselines that outperform SimCLR and do not require large training batches. We hope this will make state-of-the-art unsupervised learning research more accessible. Code will be made public.

연구 동기 및 목표

• MoCo 프레임워크 내에서 더 강하고 접근 가능한 비지도 baselines를 제시하고자 한다.
• SimCLR에서 영감을 받은 개선들(MLP 프로젝션 헤드, 더 강한 증강)이 MoCo로 이전될 수 있는지 조사한다.
• ImageNet 선형 분류 및 VOC 객체 탐지 이전에서의 성능 향상을 정량화한다.
• 주류 하드웨어에서 MoCo 기반 개선의 계산 비용과 실용성을 평가한다.

제안 방법

• MoCo v2에 MLP 프로젝션 헤드를 구현한다(2-layer MLP, 2048-d 은닉층).
• SimCLR와 같이 블러를 포함한 더 강한 데이터 증강을 도입한다.
• MoCo에 코사인 학습률 스케줄링을 적용하고 기준과 비교한다.
• ImageNet 선형 분류(1-crop, 224) 및 VOC07+12 객체 탐지 이전에서 Faster R-CNN 검출기와 함께 평가한다.
• 다양한 에폭 및 배치 크기에서 MoCo v1 및 SimCLR과 비교한다.
• 성능에 대한 MLP, 증강, 스케줄링의 영향을 보여주는 ablation을 제공한다.

실험 결과

연구 질문

• RQ1 MoCo에 MLP 프로젝션 헤드를 추가하면 다운스트림 전이 성능이 향상되는가?
• RQ2 블러를 포함한 더 강력한 데이터 증강이 MoCo 기반 표현을 향상시키는가?
• RQ3 거대한 배치 크기 없이도 MoCo가 SimCLR에 비견되거나 우수한 결과를 얻을 수 있는가?
• RQ4 이 개선들과 함께 MoCo v2를 채택할 때의 학습 시간과 메모리의 트레이드오프는 무엇인가?

주요 결과

사례	MLP	aug+	cos	에폭	acc.	AP50	AP	AP75
(a)	✓	−	−	200	60.6	81.5	55.9	62.6
(b)	−	✓	−	200	63.4	82.2	56.8	63.2
(c)	✓	✓	−	200	67.3	82.5	57.2	63.9
(d)	✓	✓	✓	200	67.5	82.4	57.0	63.6
(e)	✓	✓	✓	800	71.1	82.5	57.4	64.0

• 동일 설정에서 MLP 프로젝션 헤드와 더 강한 증강을 갖춘 MoCo v2가 MoCo v1 및 SimCLR보다 더 높은 ImageNet 선형 정확도를 보인다.
• MLP와 함께 최적의 온도 tau를 사용하면 ImageNet 선형 정확도가 60.6%에서 66.2%로 향상된다.
• 추가 증강만으로도 ImageNet 정확도가 63.4%로 상승하고, MLP만으로는 66.2%(최적 tau) 달성; 둘 다 결합하면 67.3%가 된다.
• 800 에포크의 사전 학습으로 MoCo v2는 71.1%의 ImageNet 정확도를 달성하여 1000 에포크의 SimCLR 69.3%를 능가한다.
• VOC 객체 탐지에서 MoCo v2 변형은 견고한 전이 성능을 보이며, AP50/AP/AP75가 비슷한 학습 체계에서 기준 MoCo v1 및 SimCLR과 비슷하거나 더 나은 수준이다.
• MoCo의 음수 키 큐는 배치 크기를 음수와 분리하여 표준 8-GPU 하드웨어에서 대형 TPU 배치를 필요로 하지 않고도 강력한 성능을 가능하게 한다.