[논문 리뷰] Smoothed Contrastive Learning for Unsupervised Sentence Embedding

Xing Wu, Chaochen Gao외 4명|arXiv (Cornell University)|2021. 09. 09.

Topic Modeling참고 문헌 19인용 수 9

한 줄 요약

이 논문은 대조적 손실에서 음성 쌍에 무작위 가우시안 노이즈를 추가함으로써 성능을 향상시키는 단순한 스무딩 전략인 가우시안 스무딩 인포엔세(GS-InfoNCE)를 제안한다. 이는 배치 크기를 늘리지 않으면서도 비지도 SimCSE의 성능을 향상시킨다. 이 방법은 STS-B에서 평균 스피어만 상관계수를 최대 2.85% 향상시키며, BERT와 RoBERTa 모델 전반에 걸쳐 일관된 성능 향상을 보여준다.

ABSTRACT

Contrastive learning has been gradually applied to learn high-quality unsupervised sentence embedding. Among the previous un-supervised methods, the latest state-of-the-art method, as far as we know, is unsupervised SimCSE (unsup-SimCSE). Unsup-SimCSE uses the InfoNCE1loss function in the training stage by pulling semantically similar sentences together and pushing apart dis-similar ones.Theoretically, we expect to use larger batches in unsup-SimCSE to get more adequate comparisons among samples and avoid overfitting. However, increasing the batch size does not always lead to improvements, but instead even lead to performance degradation when the batch size exceeds a threshold. Through statistical observation, we find that this is probably due to the introduction of low-confidence negative pairs after in-creasing the batch size. To alleviate this problem, we introduce a simple smoothing strategy upon the InfoNCE loss function, termedGaussian Smoothing InfoNCE (GS-InfoNCE).Specifically, we add random Gaussian noise vectors as negative samples, which act asa smoothing of the negative sample space.Though being simple, the proposed smooth-ing strategy brings substantial improvements to unsup-SimCSE. We evaluate GS-InfoNCEon the standard semantic text similarity (STS)task. GS-InfoNCE outperforms the state-of-the-art unsup-SimCSE by an average Spear-man correlation of 1.38%, 0.72%, 1.17% and0.28% on the base of BERT-base, BERT-large,RoBERTa-base and RoBERTa-large, respectively.

연구 동기 및 목표

• 배치 크기가 임계값을 초과할 경우 잘못된 음성 쌍으로 인해 비지도 SimCSE의 성능 저하 문제를 해결하기 위해.
• 음성 샘플 분포를 스무딩하여 대조 학습의 안정성과 일반화 능력을 향상시키기 위해.
• 계산 비용이나 배치 크기를 늘리지 않으면서도 표현 품질을 향상시키기 위해.
• 비지도 문장 임베딩에서 가우시안 노이즈를 정규화 전략으로 사용하는 것의 효과를 검증하기 위해.

제안 방법

• 음성 쌍 집합에 다수의 무작위 가우시안 노이즈 벡터를 추가함으로써 수정된 InfoNCE 손실인 GS-InfoNCE를 도입한다.
• 표준 가우시안 분포를 사용해 노이즈 벡터를 샘플링하며, 이들은 고신뢰도의 음성 예측으로 작용한다.
• 배치 크기를 늘리지 않고도 음성 집합을 확장하여 음성 분포를 효과적으로 스무딩한다.
• InfoNCE 손실의 분모에 스무딩 전략을 적용하여 과적합을 줄이고 일반화 능력을 향상시킨다.
• 노이즈 벡터의 수를 제어하는 하이퍼파ram터 M을 사용하며, BERT-base에서 최적의 성능은 M=3일 때 관찰된다.
• 기존 SimCSE 학습 파이프라인을 유지하면서 표준 InfoNCE 손실을 GS-InfoNCE로 대체한다.

실험 결과

연구 질문

• RQ1 가우시안 노이즈를 추가 음성 쌍으로 도입함으로써 비지도 문장 표현 학습이 향상되는가?
• RQ2 음성 샘플 분포를 스무딩함으로써 큰 배치 크기에서의 성능 저하를 완화할 수 있는가?
• RQ3 GS-InfoNCE의 성능는 노이즈 벡터의 수(M)에 얼마나 민감한가?
• RQ4 GS-InfoNCE는 다양한 모델 아키텍처와 데이터셋에서 일관되게 성능 향상을 이끌 수 있는가?
• RQ5 같거나 더 작은 배치 크기로도 GS-InfoNCE는 표준 SimCSE보다 더 좋은 성능을 낼 수 있는가?

주요 결과

• BERT-base에서 일곱 개인 STS 데이터셋 전반에 걸쳐 GS-InfoNCE는 비지도 SimCSE의 평균 스피어만 상관계수를 1.38% 향상시켰다.
• BERT-large에서는 동일한 테스트 세트에서 평균 0.55% 향상되었으며, SICK15와 SICK-R에서는 약간의 감소가 관찰되었다.
• RoBERTa-base에서는 평균 1.17% 향상되었고, RoBERTa-large에서는 평균 0.31% 향상되었다.
• BERT-base에서 STS-B 벤치마크에서 최대 성능 향상은 2.85%에 이르렀다.
• BERT-base에서 최적의 성능는 M=3일 때 달성되었으며, M=8를 초과하면 수익 감소와 함께 성능 저하가 발생했다.
• GS-InfoNCE는 모든 모델 설정과 테스트 세트에서 원본 SimCSE를 일관되게 능가했으며, 더 작은 또는 동일한 배치 크기에서도 성능 향상을 보였다.