[논문 리뷰] SimCSE: Simple Contrastive Learning of Sentence Embeddings

Tianyu Gao, Xingcheng Yao외 1명|arXiv (Cornell University)|2021. 04. 18.

Topic Modeling참고 문헌 56인용 수 34

한 줄 요약

SimCSE는 비감독 학습에서 드롭아웃을 노이즈로 사용하고 감독 학습을 위한 자연어 추론(NLI) 쌍을 활용하는 간단한 대조 학습 프레임워크를 도입하여 STS 태스크에서 최첨단 결과를 달성한다.

ABSTRACT

This paper presents SimCSE, a simple contrastive learning framework that greatly advances state-of-the-art sentence embeddings. We first describe an unsupervised approach, which takes an input sentence and predicts itself in a contrastive objective, with only standard dropout used as noise. This simple method works surprisingly well, performing on par with previous supervised counterparts. We find that dropout acts as minimal data augmentation, and removing it leads to a representation collapse. Then, we propose a supervised approach, which incorporates annotated pairs from natural language inference datasets into our contrastive learning framework by using "entailment" pairs as positives and "contradiction" pairs as hard negatives. We evaluate SimCSE on standard semantic textual similarity (STS) tasks, and our unsupervised and supervised models using BERT base achieve an average of 76.3% and 81.6% Spearman's correlation respectively, a 4.2% and 2.2% improvement compared to the previous best results. We also show -- both theoretically and empirically -- that the contrastive learning objective regularizes pre-trained embeddings' anisotropic space to be more uniform, and it better aligns positive pairs when supervised signals are available.

연구 동기 및 목표

• 단순한 대비적 목표로 보편적 문장 임베딩을 동기부여하고 개선한다.
• 드롭아웃이 최소한의 데이터 증가를 제공하고 비지도 학습에서 표현 붕괴를 방지함을 보여준다.
• NLI에서 파생된 양성 샘플과 하드 네거티브가 감독 학습 문장 임베딩을 개선함을 보여준다.
• STS 태스크와 전이 태스크에 대해 정량적으로 평가하여 최첨단 성능을 확립한다.

제안 방법

• 사전 학습된 인코더로부터 문장 임베딩을 학습하기 위해 배치 내 부정 샘플과 온도 파라미터를 사용하는 대조 손실을 사용한다.
• 비지도: 같은 문장에 두 가지 다른 드롭아웃 마스크를 적용하여 양의 쌍을 생성하고 배치 내의 다른 문장을 음수로 간주한다(추가 데이터 증강 없음).
• 지도: NLI 데이터셋의 함의 쌍에서 양점을 만들고 모순 쌍을 대비 목표 내의 하드 네거티브로 사용하며; 중성 예제를 음수로 추가 여부에 따라 함께 평가한다.

실험 결과

연구 질문

• RQ1 최소한의 데이터 증강으로도 단순한 대조적 목표가 강력한 비지도 문장 임베딩을 생성할 수 있는가?
• RQ2 NLI에서 도출된 양의 쌍과 하드 네거티브를 도입하는 것이 이전 방법들보다 감독 학습 문장 임베딩을 향상시키는가?
• RQ3 임베딩의 정렬(alignment)과 균일성(uniformity)이 SimCSE에서 관찰된 성능 향상과 어떤 관련이 있는가?

주요 결과

• 비지도 SimCSE가 드롭아웃으로 강력한 STS 성능을 달성했고, BERT-base를 사용할 때 이전의 많은 감독 방법들을 능가한다.
• 비지도 SimCSE가 BERT-base에서 STS 태스크에서 평균 Spearman 상관계수 76.3%를 산출했으며, 이는 이전 최댓값 대비 4.2% 향상이다.
• SNLI+MNLI의 함의 양성 및 모순에서의 하드 네거티브를 활용한 감독형 SimCSE는 평균적으로 81.6%의 STS 성능으로 상승하며, 비지도 버전에 비해 2.2%의 향상을 보인다.
• NLI 데이터를 감독 신호로 사용하는 것은 문장 임베딩 학습에 특히 효과적이며, 하드 네거티브를 추가하면 결과가 더 향상된다(예: BERT-base에서 STS-B 84.9%에서 86.2%로 상승).
• 대조적 목표는 임베딩 공간을 정규화하고 특이값 스펙트럼을 평탄화하며 균일성을 향상시켜 감독 신호에서 얻는 정렬 이득을 보완한다.