[논문 리뷰] Hard Negative Mixing for Contrastive Learning

Yannis Kalantidis, Mert Bülent Sarıyıldız외 3명|arXiv (Cornell University)|2020. 10. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 99인용 수 270

한 줄 요약

이 논문은 식별 공간 하드 네거티브 혼합 전략인 MoCHi를 소개합니다. 대규모 배치/메모리 크기의 한계를 넘어서 대조적 자기지도 학습에서 하드 네거티브를 즉석에서 합성하여 표현 학습 및 전달 학습 성능을 최소한의 오버헤드로 향상시킵니다. 선형 분류 및 전이 태스크에서 일관된 이점을 보여주며, 특히 짧은 사전 학습에서 더 두드러진 성능 향상을 보입니다.

ABSTRACT

Contrastive learning has become a key component of self-supervised learning approaches for computer vision. By learning to embed two augmented versions of the same image close to each other and to push the embeddings of different images apart, one can train highly transferable visual representations. As revealed by recent studies, heavy data augmentation and large sets of negatives are both crucial in learning such representations. At the same time, data mixing strategies either at the image or the feature level improve both supervised and semi-supervised learning by synthesizing novel examples, forcing networks to learn more robust features. In this paper, we argue that an important aspect of contrastive learning, i.e., the effect of hard negatives, has so far been neglected. To get more meaningful negative samples, current top contrastive self-supervised learning approaches either substantially increase the batch sizes, or keep very large memory banks; increasing the memory size, however, leads to diminishing returns in terms of performance. We therefore start by delving deeper into a top-performing framework and show evidence that harder negatives are needed to facilitate better and faster learning. Based on these observations, and motivated by the success of data mixing, we propose hard negative mixing strategies at the feature level, that can be computed on-the-fly with a minimal computational overhead. We exhaustively ablate our approach on linear classification, object detection and instance segmentation and show that employing our hard negative mixing procedure improves the quality of visual representations learned by a state-of-the-art self-supervised learning method.

연구 동기 및 목표

• 대규모 배치/메모리 크기 외의 대조 학습에서 하드 네거티브의 중요성을 동기 부여합니다.
• 쿼리마다 합성된 하드 네거티브를 생성하는 특징 공간의 하드 네거티브 혼합 메커니즘을 제안합니다.
• 하드 네거티브 혼합이 태스크와 에포크 전반에 걸친 전달 학습 및 표현 활용을 향상시키는지 보여줍니다.
• 특히 짧은 학습 regime에서도 ImageNet-100 및 PASCAL VOC, COCO와 같은 전달 태스크에서 MoCHi가 경쟁력 있는 개선을 낳는지 Demonstrate합니다.

제안 방법

• MoCo 스타일의 모멘텀 대조 프레임워크 내에서 하드 네거티브의 메모리 뱅크를 활용합니다.
• 쿼리와의 유사도를 기반으로 각 쿼리에 대해 가장 어려운 네거티브를 식별합니다.
• 가까운 네거티브들의 볼록 결합으로 합성된 하드 네거티브를 생성합니다(하드 네거티브 혼합).
• 선택적으로 쿼리와 가장 어려운 네거티브를 혼합하여 더 강력한 합성 네거티브를 얻습니다.
• 합성 네거티브를 손실 계산에 추가하되 계산 오버헤드가 최소화되도록 s + s'의 추가 내적 곱을 사용합니다.
• 관련 연구와 마찬가지로 MLP 헤드를 사용하고 표준 선형 평가 및 전달 태스크를 통해 평가합니다.

실험 결과

연구 질문

• RQ1 임베딩 공간에서 하드 네거티브를 합성하는 것이 대조 자기지도 프레임워크에서 학습 속도와 강건성을 향상시킬 수 있는가?
• RQ2 하드 네거티브 혼합이 비전 태스크 및 데이터 세트 전반의 전달 성능과 임베딩 공간 활용도를 개선하는가?
• RQ3 하이퍼파라미터 N, s, s'가 프록시 태스크의 난이도와 최종 표현에 어떤 영향을 미치는가?
• RQ4 MoCHi가 MoCo-v2 및 감독 학습 기준선에 비해 정렬성(alignment) 및 균일성(uniformity)에 어떤 영향을 주는가?

주요 결과

• Hard negative mixing (MoCHi) 은 ImageNet-100 선형 분류에서 MoCo-v2에 비해 일관된 이점을 제공합니다.
• 가장 어려운 네거티브와 쿼리를 모두 혼합하는 것이 네거티브 혼합만 하는 것보다 더 강한 개선과 공간 활용성을 제공합니다.
• MoCHi는 임베딩 공간의 균일성을 증가시키고 PASCAL VOC 및 COCO로의 전달 성능을 향상시키며, 때로는 짧은 사전 학습으로 감독형 수준에 근접합니다.
• ImageNet-100에서 MoCHi 변형은 200 에폭에서 MoCo-v2 대비 약 +0.7%에서 +1.0%의 top-1 정확도 상승을 달성하며 전달 태스크에서도 추가 이점을 보입니다.
• MoCHi는 학습 속도를 가속화하여 기본 방법들보다 적은 사전 학습 에폭에서도 경쟁력 있는 성능을 달성합니다.
• 클래스 운영자 분석은 메모리에서 동일 클래스 네거티브를 제거하면 감독 학습의 일부 성능을 회복할 수 있음을 시사하며, 하드 네거티브가 학습 역학에 미치는 영향을 보여줍니다.