[논문 리뷰] Contrastive Learning with Hard Negative Samples

Joshua Robinson, Ching-Yao Chuang외 2명|arXiv (Cornell University)|2020. 10. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 37

한 줄 요약

튜닝 가능한 비감독 하드 네거티브 샘플링 방법을 도입하여 앵커에 임베딩상 가까운 네거티브를 강조하고, 오버헤드 제로 및 이론적 보장을 제공합니다.

ABSTRACT

How can you sample good negative examples for contrastive learning? We argue that, as with metric learning, contrastive learning of representations benefits from hard negative samples (i.e., points that are difficult to distinguish from an anchor point). The key challenge toward using hard negatives is that contrastive methods must remain unsupervised, making it infeasible to adopt existing negative sampling strategies that use true similarity information. In response, we develop a new family of unsupervised sampling methods for selecting hard negative samples where the user can control the hardness. A limiting case of this sampling results in a representation that tightly clusters each class, and pushes different classes as far apart as possible. The proposed method improves downstream performance across multiple modalities, requires only few additional lines of code to implement, and introduces no computational overhead.

연구 동기 및 목표

• 대조적 표현 학습을 개선하기 위한 하드 네거티브 샘플의 사용 동기를 제시한다.
• 참된 유사성 라벨에 의존하지 않는 비감독적이고 조정 가능한 하드 네거티브 샘플링 분포를 개발한다.
• 추가 계산 없이 네거티브를 재가중하는 효율적인 중요도 샘플링 기반 학습 목적을 제공한다.
• 하드 네거티브 샘플링 하에서 최적 임베딩을 이론적으로 특성화하고 초구면의 구슬 채움(ball-packing)과의 관계를 설명한다.
• 이미지, 그래프, 텍스트 모달리티에 걸친 다운스트림 성능 향상을 실증적으로 입증한다.

제안 방법

• 앵커와의 현재 유사성이 높은 네거티브에 편향되도록 샘플링을 유도하는 부정 샘플링 분포 q_beta^-를 제안한다: q_beta^-(x^-) ∝ e^{β f(x)^T f(x^-)} p(x^-), h(x) ≠ h(x^-) 조건 하에서.
• 실용적인 샘플링을 PU-학습 분해 및 중요도 샘플링을 통해 가능하게 하되 데이터 샘플링이나 오버헤드 추가 없이 q_beta를 재작성한다.
• E_{x^- ~ q_beta}[e^{f(x)^T f(x^-)}] 및 E_{v ~ q_beta^+}[e^{f(x)^T f(v)}]의 몬테카를로 추정치를 사용하는 하드니스 바이어스 목적을 도출하며, 분할 함수 Z_beta 및 Z_beta^+를 포함한다.
• β가 하드니스(난이도)를 제어하고 β → ∞가 구면(ball-packing)과 연결된 최악의 네거티브 분포에 해당함을 보인다.
• 하드 네거티브 하에서의 최적 임베딩에 대한 이론적 결과와 일반화 및 간단한 1-NN 분류기에 대한 시사점을 제공한다.

실험 결과

연구 질문

• RQ1 비감독 대조 학습이 실제 유사성 라벨이 없는 상황에서 하드 네거티브로 이점을 얻을 수 있는가?
• RQ2 정보적으로 앵커에 가까운 네거티브를 강조하면서도 계산 비용을 증가시키지 않는 샘플링 분포를 어떻게 설계해야 하는가?
• RQ3 하드 네거티브 샘플링 하에서 학습된 표현의 이론적 특성은 무엇이며, 이것이 군집화 및 구면 구형의 구슬 채움과 어떤 관련이 있는가?
• RQ4 제안된 방법이 이미지, 그래프, 텍스트 모달리티 전반에서 다운스트림 성능 향상을 이끄는가?

주요 결과

데이터세트	SimCLR	Debiased	Hard (β=1)
tinyImageNet	53.4%	53.7%	57.0%

• 하드 네거티브 샘플링은 여러 기준선에서 이미지, 그래프, 텍스트 데이터에 대한 다운스트림 작업 성능을 향상시킨다.
• β>0인 q_beta^-가 현재 앵커와 유사한 네거티브로 편향되도록 하면서 PU-학습 분해에 의해 기본 원칙 1(다른 라벨)을 대략적으로 유지한다.
• β를 증가시키면 바이어스 제거에서 적대적 하드 네거티브까지의 스펙트럼이 생기며, β=1 또는 β=2가 종종 기준선보다 더 좋은 성능을 보이고 β를 어닐링하면 강건성이 향상된다.
• 무한한 네거티브 샘플 한계에서 최적 임베딩은 구면 구형의 구슬 채움 문제를 해결하며 클래스 대표를 최대한 멀리 배치한다.
• STL10, CIFAR100, tinyImageNet 및 다양한 그래프·문장 벤치마크에서 실증적으로 유의미한 이득을 보이며, 예를 들어 STL10은 SimCLR의 400에 비해 60 에폭으로 학습 속도가 빨라질 수 있다.
• 하드 네거티브를 디바이아주(편향 제거)와 결합하면 테스트된 구성 중 STL10에서 가장 우수한 선형 읽기 성능을 보인다.