[논문 리뷰] Semantically-Conditioned Negative Samples for Efficient Contrastive Learning

James O’Neill, Danushka Bollegala|arXiv (Cornell University)|2021. 02. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 4

한 줄 요약

이 논문은 사전 훈련된 임베딩을 사용하여 정보성 있는 음성 샘플을 선택함으로써 대비 학습의 효율성을 향상시키기 위해 의미 조건부 음성 샘플링(Semantically-Conditioned Negative Sampling, SCNS)과 잠재 공간 미스업(Latent Mixup)을 제안한다. SCNS는 의미적으로 유사한 클래스 또는 인스턴스에서 음성 샘플을 추출하며, 잠재 공간 미스업은 보간을 통해 어려운 가짜 음성 샘플을 생성한다; 두 방법 모두 지식 정복 설정에서 CIFAR-10에서 최대 1.52% 향상되고 Tiny-ImageNet-200에서 최대 4.56% 향상되는 정확도 향상을 이룬다.

ABSTRACT

Negative sampling is a limiting factor w.r.t. the generalization of metric-learned neural networks. We show that uniform negative sampling provides little information about the class boundaries and thus propose three novel techniques for efficient negative sampling: drawing negative samples from (1) the top-$k$ most semantically similar classes, (2) the top-$k$ most semantically similar samples and (3) interpolating between contrastive latent representations to create pseudo negatives. Our experiments on CIFAR-10, CIFAR-100 and Tiny-ImageNet-200 show that our proposed extit{Semantically Conditioned Negative Sampling} and Latent Mixup lead to consistent performance improvements. In the standard supervised learning setting, on average we increase test accuracy by 1.52\% percentage points on CIFAR-10 across various network architectures. In the knowledge distillation setting, (1) the performance of student networks increase by 4.56\% percentage points on Tiny-ImageNet-200 and 3.29\% on CIFAR-100 over student networks trained with no teacher and (2) 1.23\% and 1.72\% respectively over a extit{hard-to-beat} baseline (Hinton et al., 2015).

연구 동기 및 목표

• 클래스 경계에 대한 정보가 제한적인 균일한 음성 샘플링의 비효율성을 해결한다.
• 균일한 음성 샘플링을 의미 기반 샘플링 전략으로 대체함으로써 일반화 능력과 훈련 효율성을 향상시킨다.
• 사전 훈련된 표현을 활용하여 의미 유사도 기반 조건부 음성 샘플링 분포를 정의하는 방법을 개발한다.
• 결정 경계 근처에 위치한 더 정보적인 가짜 음성 샘플을 생성하기 위해 새로운 잠재 공간 미스업 기법을 제안한다.
• CIFAR-10, CIFAR-100, Tiny-ImageNet-200에서 표준 지도 학습 및 지식 정복 설정 모두에서 일관된 성능 향상을 입증한다.

제안 방법

• 사전 훈련된 단어 임베딩과 코사인 유사도를 기반으로 의미적으로 가장 유사한 상위-k개 클래스를 사용해 음성 샘플링 분포를 정의한다.
• 사전 훈련된 네트워크의 특징 간 유사도를 계산하여 인스턴스 수준의 음성 샘플링을 수행하고, 상위-k개의 가장 가까운 이웃을 선택한다.
• 잠재 공간 미스업(Latent Mixup, LM)을 제안하며, 교사 및 학생 네트워크 표현 간의 보간을 통해 잠재 공간에서 가짜 음성 샘플을 생성한다.
• 학생 및 교사 네트워크의 혼합 표현 간의 거리 또는 발산 손실을 최소화하여 정렬을 향상시킨다.
• 의미 유사도에 조건부로 설정된 확률 분포를 사용하여 음성 쌍의 수를 O(N(N−N+))에서 O(Nk)로 감소시킨다.
• 훈련 시 추가 파라미터 없이 기존의 대비 학습 및 지식 정복 프레임워크에 SCNS와 LM을 통합한다.

실험 결과

연구 질문

• RQ1 의미 유사도 기반 음성 샘플링이 균일한 샘플링 대비 대비 학습 모델의 일반화 능력을 향상시키는가?
• RQ2 인스턴스 수준의 의미 유사도가 클래스 수준의 유사도보다 효과적인 음성 샘플링을 이끄는 데 더 유리한가?
• RQ3 잠재 공간 보간이 결정 경계 근처에 더 가까운 더 정보성 있는 가짜 음성 샘플을 생성할 수 있는가?
• RQ4 SCNS와 잠재 공간 미스업이 표준 지도 학습 및 지식 정복 설정에서 성능 향상에 얼마나 기여하는가?
• RQ5 다양한 데이터셋과 아키텍처에서 샘플 품질과 모델 정확도를 향상시키는 동시에 효율성을 유지하는가?

주요 결과

• 의미 조건부 음성 샘플링(SCNS)은 표준 지도 학습 설정에서 CIFAR-10에서 다양한 아키텍처에 대해 평균 1.52%p의 테스트 정확도 향상을 이룬다.
• Tiny-ImageNet-200에서 SCNS는 교사가 없는 학생 네트워크보다 정확도를 4.56%p 향상시켰다.
• CIFAR-100에서 SCNS는 교사가 없는 학생 네트워크보다 성능을 3.29%p 향상시켰다.
• Hinton 등(2015)의 강력한 베이스라인과 비교했을 때, SCNS는 Tiny-ImageNet-200에서 1.23%p, CIFAR-100에서 1.72%p의 정확도 향상을 달성했다.
• 인스턴스 수준의 SCNS는 다른 변종보다 뛰어난 성능을 보였으며, CIFAR-100에서 6개의 학생-교사 구성 중 4개에서 최고 성능을 기록했다.
• β=0.5일 때 잠재 공간 미스업이 가장 높은 정확도 향상을 기록했으며, resnet14 학생 및 wrn-40-1 교사 모델을 사용해 Tiny-ImageNet-200에서 71.43%의 Top-1 정확도를 달성했다.