[논문 리뷰] Boosting Contrastive Self-Supervised Learning with False Negative Cancellation

Tri Huynh, Simon Kornblith외 3명|arXiv (Cornell University)|2020. 11. 23.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 같은 의미 클래스에서 온 음성 쌍(즉, 거짓 음성)을 식별하고 완화함으로써 대조적 자기지도 학습을 향상시키기 위해 거짓 음성 취소(FNC)를 제안한다. ImageNet에서 약 40%의 정확도로 레이블 없이 거짓 음성을 탐지하는 간단한 방법을 사용하며, 제거 및 유도 전략을 적용하여 기존 SOTA 대비 1% 지도 학습 설정에서 5.8%p의 절대 top-1 정확도 향상을 이룬다. 계산 오버헤드는 극히 미미하다.

ABSTRACT

Self-supervised representation learning has made significant leaps fueled by progress in contrastive learning, which seeks to learn transformations that embed positive input pairs nearby, while pushing negative pairs far apart. While positive pairs can be generated reliably (e.g., as different views of the same image), it is difficult to accurately establish negative pairs, defined as samples from different images regardless of their semantic content or visual features. A fundamental problem in contrastive learning is mitigating the effects of false negatives. Contrasting false negatives induces two critical issues in representation learning: discarding semantic information and slow convergence. In this paper, we propose novel approaches to identify false negatives, as well as two strategies to mitigate their effect, i.e. false negative elimination and attraction, while systematically performing rigorous evaluations to study this problem in detail. Our method exhibits consistent improvements over existing contrastive learning-based methods. Without labels, we identify false negatives with 40% accuracy among 1000 semantic classes on ImageNet, and achieve 5.8% absolute improvement in top-1 accuracy over the previous state-of-the-art when finetuning with 1% labels. Our code is available at https://github.com/google-research/fnc.

연구 동기 및 목표

• 대조적 자기지도 학습에서 같은 의미 클래스에서 온 음성 쌍이 표현 학습을 방해하는 근본적인 문제인 거짓 음성 문제를 해결하기 위해.
• 의미 어노테이션에 의존하지 않고도 대조 학습에서 거짓 음성을 식별할 수 있는 레이블 없는 방법을 개발하기 위해.
• 거짓 음성의 부정적 영향을 줄이기 위해 두 가지 전략—거짓 음성 제거 및 유도—를 제안하고 평가하기 위해.
• 선형 평가, 준지도 학습, 그리고 후행 전이 작업을 포함한 다양한 벤치마크에서 일관된 성능 향상을 보여주기 위해.

제안 방법

• 레이블이 필요 없이 앵커와 후보 샘플 간의 특징 유사도를 사용하여 잠재적 거짓 음성을 식별하는 점수 기반 방법을 제안한다.
• 각 음성 샘플에 대해 신뢰도 점수를 계산하기 위해 최대 집약 전략을 사용하며, 거짓 음성일 가능성이 높은 샘플을 걸러낸다.
• 두 가지 완화 전략을 도입한다: (1) 거짓 음성 제거는 문제를 일으키는 음성 쌍을 대조 손실에서 제거하고, (2) 거짓 음성 유도는 이러한 쌍을 활성적으로 가까이 끌어모은다.
• 임계값 기반 필터링 메커니즘(임계값 = 0.7)과 상위-k 선택(k=10)을 사용하여 높은 신뢰도의 거짓 음성에 집중한다.
• 최소한의 계산 오버헤드로 표준 대조 프레임워크인 SimCLR v2와 MoCo v2에 FNC 기반 메커니즘을 통합한다.
• 3층의 MLP 프로젝터 헤드와 표준 데이터 증강 기법(자르기, 색상 왜곡, 흐림, RandAugment)을 사용하며, LARS 옵timizer와 코스인 학습률 감쇠 전략을 적용한다.

실험 결과

연구 질문

• RQ1 레이블이나 클래스 정보에 접근할 수 없을 때, 대조적 자기지도 학습에서 거짓 음성을 얼마나 정확하게 식별할 수 있는가?
• RQ2 거짓 음성이 대조 학습의 수렴 속도와 표현 품질에 어떤 영향을 미치는가?
• RQ3 거짓 음성 취소 전략—제거 및 유도—이 다양한 평가 프로토콜에서 성능 향상에 기여하는가?
• RQ4 FNC 전략은 다중 크롭 증강 및 모멘터리 콘trast와 같은 기존 기법과 어떻게 상호작용하는가?
• RQ5 1%의 레이블 데이터가 있는 저자원 환경에서 FNC는 얼마나 성능 향상에 기여할 수 있는가?

주요 결과

• 레이블 없이 1,000개의 ImageNet 클래스에서 약 40%의 정확도로 거짓 음성을 식별할 수 있으며, 이는 자기지도 설정에서 거짓 음성을 탐지할 수 있음을 입증한다.
• 선형 평가에서 모델은 ImageNet에서 74.4%의 top-1 정확도를 달성하여 SimCLR v2 대비 2.7%p 향상되었고, 기존 대조 기반 SOTA 대비 1.4%p 향상되었다.
• 단지 1%의 레이블 데이터만 있는 준지도 학습 설정에서 모델은 63.7%의 top-1 정확도를 기록하여 이전 SOTA 대비 5.8%p의 절대적 향상을 이룬다.
• FNC는 다중 크롭 증강과 함께 사용될 경우 매우 효과적이며, 기준 다중 크롭 대비 정확도 향상률을 두 배로 끌어올려 4%p 향상시키지만, 추가 계산 비용은 극히 미미하다.
• 12개의 후행 분류 벤치마크에서 FNC 기반 모델은 선형 평가에서 SimCLR v1 및 v2를 제외한 전부의 데이터셋에서 승리했으며, 파인튜닝에서 BYOL 성능을 맞추거나 초월했다.
• Pascal VOC 객체 검출에서 FNC 모델은 MoCo v2, SwAV, 심지어 지도 학습 기반 베이스라인을 모두 능가하며, 학습된 특징의 강력한 전이 가능성(transferability)을 입증했다.