[논문 리뷰] SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples

Hao Wang, Yangguang Li외 4명|arXiv (Cornell University)|2022. 01. 16.

Topic Modeling인용 수 4

한 줄 요약

SNCSE는 특성 억압(모델이 문장 유사성과 의미 유사성을 혼동하는 현상)을 완화하기 위해 대조 학습 프레임워크를 제안하며, 문장 부정을 소프트 음성 샘플로 도입한다. 이로써 양방향 마진 손실(BML)을 통해 의미적 구분 능력을 향상시켜 RoBERTa base에서 평균 스피어만 상관계수 79.23%, RoBERTa large에서 81.77%의 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Unsupervised sentence embedding aims to obtain the most appropriate embedding for a sentence to reflect its semantic. Contrastive learning has been attracting developing attention. For a sentence, current models utilize diverse data augmentation methods to generate positive samples, while consider other independent sentences as negative samples. Then they adopt InfoNCE loss to pull the embeddings of positive pairs gathered, and push those of negative pairs scattered. Although these models have made great progress on sentence embedding, we argue that they may suffer from feature suppression. The models fail to distinguish and decouple textual similarity and semantic similarity. And they may overestimate the semantic similarity of any pairs with similar textual regardless of the actual semantic difference between them. This is because positive pairs in unsupervised contrastive learning come with similar and even the same textual through data augmentation. To alleviate feature suppression, we propose contrastive learning for unsupervised sentence embedding with soft negative samples (SNCSE). Soft negative samples share highly similar textual but have surely and apparently different semantic with the original samples. Specifically, we take the negation of original sentences as soft negative samples, and propose Bidirectional Margin Loss (BML) to introduce them into traditional contrastive learning framework, which merely involves positive and negative samples. Our experimental results show that SNCSE can obtain state-of-the-art performance on semantic textual similarity (STS) task with average Spearman's correlation coefficient of 78.97% on BERTbase and 79.23% on RoBERTabase. Besides, we adopt rank-based error analysis method to detect the weakness of SNCSE for future study.

연구 동기 및 목표

• 양호한 쌍에서 높은 문장 유사성으로 인해 의미 유사성을 과도하게 평가하는 등 특성 억압 문제를 해결하기 위해.
• 높은 문장 유사성과는 달리 의미가 다름을 가진 문장을 소프트 음성 샘플로 도입하여 문장 유사성과 의미 유사성을 분리하기 위해.
• 문장 유사성은 높지만 의미가 다른 문장 간의 의미적 차이를 구분할 수 있도록 대조 학습 능력을 향상시키기 위해.
• 라벨이 없는 데이터를 요구하지 않는 의미적 구분 능력을 향상시키는 학습 프레임워크를 개발하기 위해.

제안 방법

• SNCSE는 문장 부정을 소프트 음성 샘플로 사용하여, 높은 문장 유사성과 명확히 다른 의미를 가진 쌍을 생성한다.
• 양방향 마진 손실(BML)을 도입하여, 긍정 샘플과 소프트 음성 샘플 간의 의미적 격차를 명시적으로 모델링한다.
• 기본적인 대조 학습 설정에 BML을 통합하여, 긍정 쌍과 표준 음성 쌍에 대해 InfoNCE 손실도 사용한다.
• BML은 문장의 임베딩이 그 부정 문장으로부터 떨어지도록 보장하면서도, 증강된 긍정 버전들 쪽으로 끌어당기는 것을 유지한다.
• BERT나 RoBERTa와 같은 어떤 사전 학습된 인코더와도 호환되며, 비지도 방식으로 작동한다.
• 의미 표현을 최적화하기 위해 InfoNCE 손실과 BML 손실의 조합을 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 문장 부정을 소프트 음성 샘플로 도입함으로써 비지도 문장 임베딩에서 문장 유사성과 의미 유사성을 분리하는 데 효과적인가?
• RQ2 양방향 마진 손실(BML)이 문장 유사성은 높지만 의미가 다른 문장 간의 구분 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 소프트 음성 샘플의 사용이 의미적 문장 유사성(STS) 벤치마크 성능 향상에 측정 가능한 기여를 하는가?
• RQ4 기존의 대조 학습 방법에 비해 SNCSE는 특성 억압을 어느 정도 완화하는가?
• RQ5 SNCSE의 주요 실패 유형은 무엇이며, 문장 순서, 오타, 부정 논리와 같은 언어 현상과 어떻게 관련이 있는가?

주요 결과

• SNCSE는 STS 벤치마크에서 최신 기술 성능을 달성했으며, RoBERTa base에서 평균 스피어만 상관계수 79.23%, RoBERTa large에서 81.77%를 기록했다.
• 제거 실험을 통해 BML 손실이 성능 향상에 크게 기여하고 특성 억압 완화에 기여한다는 것이 확인되었다.
• 모델이 문장과 그 부정 문장 간의 유사도 점수를 낮게 부여하는 것으로 나타나, SNCSE는 문장과 그 부정 문장 간의 구분 능력이 향상되었다.
• 순위 기반 오류 분석 결과, 주요 실패 유형은 오타, 암시적 부정, 문장 독립성, 어순 변경 등이었으며, 이는 지속적인 특성 억압에서 기인했다.
• 낮은 문장 유사성과 높은 의미 유사성의 쌍에서 모델이 유사도를 과소평가하는 것으로 나타나, 표면적 텍스트를 초월한 의미적 의미를 포착하는 데 여전히 도전 과제가 있음을 보여주었다.
• 진전이 있었음에도 불구하고, SNCSE는 어순 변화나 암시적 부정에서 의미적 차이를 모델링하는 데 여전히 어려움을 겪고 있어, 자기주의 주의 메커니즘이 문법적 요소와 의미적 요소를 분리하는 데 한계를 드러냈다.