[논문 리뷰] Supervised Contrastive Learning with Hard Negative Samples

Ruijie Jiang, Thuan Nguyen외 2명|arXiv (Cornell University)|2022. 08. 31.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 표현 학습을 향상시키기 위해 레이블 정보와 하드 네거티브 샘플링을 결합한 대비 학습 프레임워크인 하드 네거티브 감독 대비 학습(H-SCL)을 제안한다. H-SCL는 이미지 벤치마크에서 SCL와 H-UCL보다 우월한 성능을 보이며, 이론적으로 H-SCL 손실이 H-UCL 손실에 의해 상한선으로 제한됨을 보여 H-UCL가 UCL보다 경험적으로 뛰어난 이유를 설명한다.

ABSTRACT

Through minimization of an appropriate loss function such as the InfoNCE loss, contrastive learning (CL) learns a useful representation function by pulling positive samples close to each other while pushing negative samples far apart in the embedding space. The positive samples are typically created using "label-preserving" augmentations, i.e., domain-specific transformations of a given datum or anchor. In absence of class information, in unsupervised CL (UCL), the negative samples are typically chosen randomly and independently of the anchor from a preset negative sampling distribution over the entire dataset. This leads to class-collisions in UCL. Supervised CL (SCL), avoids this class collision by conditioning the negative sampling distribution to samples having labels different from that of the anchor. In hard-UCL (H-UCL), which has been shown to be an effective method to further enhance UCL, the negative sampling distribution is conditionally tilted, by means of a hardening function, towards samples that are closer to the anchor. Motivated by this, in this paper we propose hard-SCL (H-SCL) {wherein} the class conditional negative sampling distribution {is tilted} via a hardening function. Our simulation results confirm the utility of H-SCL over SCL with significant performance gains {in downstream classification tasks.} Analytically, we show that {in the} limit of infinite negative samples per anchor and a suitable assumption, the {H-SCL loss} is upper bounded by the {H-UCL loss}, thereby justifying the utility of H-UCL {for controlling} the H-SCL loss in the absence of label information. Through experiments on several datasets, we verify the assumption as well as the claimed inequality between H-UCL and H-SCL losses. We also provide a plausible scenario where H-SCL loss is lower bounded by UCL loss, indicating the limited utility of UCL in controlling the H-SCL loss.

연구 동기 및 목표

• 표준 감독 대비 학습(SCL)과 하드 네거티브 비감독 대비 학습(H-UCL) 사이의 성능 격차를 해결하기 위해, H-UCL가 경험적으로 뛰어나지만 그 이유를 설명하는 것.
• 표현 학습을 향상시키기 위해 레이블 정보와 하드 네거티브 샘플링을 통합한 통합 프레임워크를 개발하는 것.
• H-UCL가 UCL를 초월하는 이유를 이론적으로 설명하기 위해 H-SCL 손실이 H-UCL 손실에 의해 상한선으로 제한되지만 UCL 손실에는 제한되지 않는다는 것을 보여주는 것.
• UCL, H-UCL, SCL, H-SCL를 명확하고 통합적으로 비교하여 그 관계와 차이점을 명확히 하는 것.

제안 방법

• 클래스 레이블을 사용해 양성 쌍을 정의하고 임bedding 유사도 기반으로 하드 네거티브를 선택하는 대비 학습 목표인 H-SCL를 제안한다.
• 하드 네거티브를 더 강하게 가중하기 위해 경도 파rameter β를 포함한 온도 스케일링 대비 손실을 도입한다.
• 표현 학습을 위해 표준 ResNet-50 백본과 128차원 프로젝션 헤드를 사용한다.
• 현재 미니배치에서 선택된 샘플들을 음성 샘플로 사용하는 배치 기반의 음성 샘플링 분포 근사 방법을 적용한다.
• 손실 함수의 경도 가중치를 최적화하기 위해 β ∈ {0.1, 0.5, 1, 2, 5} 범위에서 그리드 서치를 수행한다.
• 사전 훈련 후 표현 함수를 고정하고 선형 분류기 헤드를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 레이블 정보와 하드 네거티브 샘플링을 결합하면 표준 SCL와 H-UCL를 초월하는 대비 학습 성능 향상을 이룰 수 있는가?
• RQ2 H-SCL 손실과 H-UCL 손실 사이에 이론적 관계가 존재하여 H-UCL의 경험적 성공을 설명할 수 있는가?
• RQ3 UCL 목표함수보다 H-SCL 목표함수가 H-SCL 손실을 더 나은 프록시로 제공하는가?
• RQ4 경도 파rameter β가 H-SCL 프레임워크의 최적화 및 일반화에 어떤 영향을 미치는가?

주요 결과

• CIFAR100에서 H-SCL는 75.11%의 top-1 정확도를 기록하여 SCL(71.68%)와 H-UCL(67.77%)보다 3个百分点 이상 높게 성능을 냈다.
• STL10에서 H-SCL는 72.52%의 정확도를 달성했으며, SCL에 비해 4.24% 향상되었고 H-UCL에 비해 4.70% 향상되었다.
• H-SCL는 SCL가 200 에포크에서 달성하는 성능을 50 에포크 미만에 도달하여 더 빠른 수렴을 보였다.
• 이론적 분석을 통해 특정 조건 하에서 H-SCL 손실이 H-UCL 손실에 의해 상한선으로 제한되지만 UCL 손실에는 제한되지 않는다는 것을 확인했다.
• 그림 4의 경험적 결과는 다양한 β 값에서 H-SCL 손실이 항상 H-UCL 손실에 의해 상한선으로 제한됨을 보여 이론적 상한선을 검증했다.
• 핵심 부등식 (17)의 평균 왼쪽 항은 1.44로, 평균 오른쪽 항 0.99보다 유의미하게 높아 가정 1를 지지한다.