[논문 리뷰] Momentum Contrast for Unsupervised Visual Representation Learning

Kaiming He, Haoqi Fan외 3명|arXiv (Cornell University)|2019. 11. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 58인용 수 1,008

한 줄 요약

MoCo는 대규모의 일관된 대조 학습을 가능하게 하는 큐 기반의 동적 사전과 모멘텀 업데이트된 키 인코더를 도입하여 무감독 시각 표현 학습을 가능하게 한다; 이는 ImageNet 선형 정확도에서 경쟁력을 보이며 탐지/분할 태스크로의 강력한 전이 성능을 보여주고, 여러 설정에서 감독 사전 학습을 능가한다.

ABSTRACT

We present Momentum Contrast (MoCo) for unsupervised visual representation learning. From a perspective on contrastive learning as dictionary look-up, we build a dynamic dictionary with a queue and a moving-averaged encoder. This enables building a large and consistent dictionary on-the-fly that facilitates contrastive unsupervised learning. MoCo provides competitive results under the common linear protocol on ImageNet classification. More importantly, the representations learned by MoCo transfer well to downstream tasks. MoCo can outperform its supervised pre-training counterpart in 7 detection/segmentation tasks on PASCAL VOC, COCO, and other datasets, sometimes surpassing it by large margins. This suggests that the gap between unsupervised and supervised representation learning has been largely closed in many vision tasks.

연구 동기 및 목표

• 무감독 시각 표현 학습을 효과적인 사전-유사 contrastive 학습으로서의 dictionary-와 같은 학습으로 동기 부여한다.
• 훈련 중 일관성을 유지하는 크고 진화하는 사전을 구축하는 메커니즘을 개발한다.
• 동적 업데이트되는 인코더를 통해 대조 학습을 위한 키의 일관성을 유지할 수 있음을 보여준다.
• MoCo를 활용한 무감독 사전학습이 하류 비전 태스크로의 전이에 잘 수행됨을 보여준다.
• 데이터 규모(데이터)와 사전 설계가 무감독 학습 성능에 어떤 영향을 미치는지 조사한다.

제안 방법

• 대조 학습을 쿼리와 키 집합의 사전 조회로 해석한다.
• 사전을 미니배치 크기와 분리된 큐로 유지하여 대형 사전을 가능하게 한다.
• 훈련 중 키 인코더를 모멘텀 업데이트하여 학습 전반에 걸쳐 키의 일관성을 유지한다: θ_k ← m θ_k + (1 − m) θ_q.
• 같은 이미지의 두 가지 무작위 뷰를 양의 쌍으로 사용하고, 다른 키들을 음성으로 간주하여 InfoNCE 손실을 적용한다.
• 정보 누출을 방지하고 표현 품질을 향상시키기 위해 학습 시 셔플링이 가능한 배치 정규화를 적용한다.
• 확장성 및 실제 데이터 적용 가능성을 점검하기 위해 ImageNet-1M 또는 억 개의 Instagram 이미지로 사전 학습하는 것을 선택적으로 고려한다.

실험 결과

연구 질문

• RQ1 대형의 동적으로 업데이트되는 사전이 무감독 대조 학습의 성능을 향상시킬 수 있는가?
• RQ2 모멘텀 업데이트된 키 인코더가 엔드투엔드 또는 메모리 뱅크 접근법보다 더 나은 키 일관성을 제공하는가?
• RQ3 MoCo를 이용한 무감독 사전학습이 ImageNet의 감독형 사전학습 대비 ImageNet 및 하류 탐지/분할 태스크에서 얼마나 비교 우위를 보이는가?
• RQ4 데이터 규모(ImageNet-1M 대 IG-1B)가 MoCo 표현의 전이 성능에 미치는 영향은 무엇인가?

주요 결과

• MoCo는 표준 프로토콜 하에서 ImageNet 선형 분류 정확도에서 경쟁력을 보인다.
• 큐를 통한 대형 사전과 모멘텀 업데이트 키 인코더의 결합은 특징 일관성과 학습 안정성을 향상시킨다.
• MoCo 사전 학습은 여러 탐지/분할 태스크(PASCAL VOC, COCO 등)에서 ImageNet 감독형 사전 학습을 능가할 수 있다(전이 프로토콜이 유사할 때).
• MoCo는 IG-1B와 같은 십억 규모의 비정제 데이터에 잘 확장되며 강한 전이 성능을 유지한다.
• 모멘텀(m이 0.999에 근접)은 사전의 일관성과 학습 성공에 결정적이며, 너무 작은 m은 성능을 저하시킨다.