[논문 리뷰] DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings

Yung-Sung Chuang, Rumen Dangovski외 8명|arXiv (Cornell University)|2022. 04. 21.

Topic Modeling인용 수 5

한 줄 요약

DiffCSE는 문장 임베딩을 위한 비지도 대비 학습 프레임워크를 제안하며, 원본 문장과 마스킹된 언어 모델 증강 문장 간의 차이를 명시적으로 모델링함으로써 의미적 유사도 성능을 향상시킨다. 표준 드롭아웃 기반 증강과 MLM 기반 단어 교체를 결합하고 차이 예측 헤드를 학습함으로써 DiffCSE는 STS 작업에서 SimCSE보다 2.3점의 절대적 성능 향상을 달성하여 최신 기준을 수립한다.

ABSTRACT

We propose DiffCSE, an unsupervised contrastive learning framework for learning sentence embeddings. DiffCSE learns sentence embeddings that are sensitive to the difference between the original sentence and an edited sentence, where the edited sentence is obtained by stochastically masking out the original sentence and then sampling from a masked language model. We show that DiffSCE is an instance of equivariant contrastive learning (Dangovski et al., 2021), which generalizes contrastive learning and learns representations that are insensitive to certain types of augmentations and sensitive to other "harmful" types of augmentations. Our experiments show that DiffCSE achieves state-of-the-art results among unsupervised sentence representation learning methods, outperforming unsupervised SimCSE by 2.3 absolute points on semantic textual similarity tasks.

연구 동기 및 목표

• 의미 있는 언어적 변화에 민감한 대비 학습 프레임워크를 개발함으로써, 이러한 변화에 대해 불변이 되는 것이 아니라 민감하게 반응하도록 하는 것.
• 표준 대비 학습이 자연어 처리에서 입력 수준의 증강(예: 단어 교체)이 의미를 변화시키므로 이를 간과해서는 안 되는 한계를 해결하는 것.
• 드롭아웃(불변)과 MLM 기반(민감) 변환을 구분함으로써 자연어 처리에서 동치성 대비 학습을 실현하는 것.
• 라벨이 없는 데이터를 요구하지 않고도 제로샷 전이 및 의미적 유사도 작업을 위한 문장 표현 품질을 향상시키는 것.
• 원본 문장과 수정된 문장 간의 차이를 모델링함으로써 더 잘 정렬되고 더 정보적인 문장 임베딩을 얻을 수 있음을 보여주는 것.

제안 방법

• DiffCSE는 이중 증강 전략을 사용한다: 한 분기에서는 원본 문장에 드롭아웃을 적용하여 불변 변환을 수행하고, 다른 분기에서는 마스킹된 언어 모델을 사용해 수정된 문장을 생성한다.
• 모델은 원본 문장과 드롭아웃 증강 문장 표현 간의 대비 손실을 통해 문장 임베딩을 학습하며, 드롭아웃에 대해 불변성을 장려한다.
• 추가로, 원본 문장과 MLM 증강 문장 간의 차이를 예측하기 위한 교차 엔트로피 손실이 도입되어 표현이 의미 있는 변화에 민감하도록 한다.
• 차이 예측 헤드는 문장 인코더와 함께 엔드 투 엔드로 학습되며, 추론 시에는 디스criminator 헤드를 기각하고 오직 문장 인코더만 사용한다.
• 이 프레임워크는 동치성 대비 학습에 기반하며, 일부 증강에 대해 불변이고 다른 증강에 대해 민감한 표현을 학습함으로써 표준 대비 학습을 일반화한다.
• 사전 학습된 모델과 코드는 https://github.com/voidism/DiffCSE 에서 공개된다.

실험 결과

연구 질문

• RQ1 원본 문장과 MLM 증강 문장 간의 차이를 모델링하는 것이 비지도 설정에서 문장 표현 학습을 향상시킬 수 있는가?
• RQ2 마스킹된 언어 모델을 통한 단어 교체와 같은 의미 있는 언어적 변화에 민감한 문장 임베딩을 만드는 것이 의미적 유사도 작업에서 더 나은 성능을 이끌어낼 수 있는가?
• RQ3 DiffCSE는 정렬성, 균일성, 그리고 후행 전이 성능 측면에서 SimCSE 및 기타 대비 학습 베이스라인과 비교해 어떻게 다른가?
• RQ4 차이 예측 헤드가 학습된 문장 임베딩 공간의 품질을 어느 정도 향상시키는가?
• RQ5 의미적 의미를 변화시키는 입력 수준의 증강이 흔한 자연어 처리 환경에서 동치성 대비 학습을 효과적으로 적용할 수 있는가?

주요 결과

• DiffCSE는 비지도 SimCSE보다 의미적 텍스트 유사도(STS) 벤치마크에서 2.3점의 절대적 성능 향상을 기록하여 비지도 문장 표현 학습의 새로운 최고 기록을 수립한다.
• STS-B 테스트 세트에서 DiffCSE는 리콜@10이 97.42를 기록했으며, SimCSE의 95.88보다 뛰어난 검색 성능을 보였다.
• DiffCSE의 코사인 유사도 분포는 SimCSE보다 인간 평가 점수와 동일한 쌍에 대해 더 일관되며, 더 높은 유사도를 할당하는 경향을 보였다.
• DiffCSE는 SimCSE(0.177)보다 더 낮은 정렬성(0.097)을 기록했고, 균일성(-1.438 vs. -2.313)은 유사하게 유지하여 더 나은 정렬성을 통해 표현 품질 향상을 입증했다.
• 제거 실험 결과, 대비 손실과 차이 예측 헤드 모두 성능 향상에 기여하며, 특히 의미 변화에 대한 민감성 확보에 핵심적인 역할을 함을 확인했다.
• 정성 분석 결과, DiffCSE는 특히 파라프라즈 및 미세한 의미적 변형을 다룰 때 더 구분력 있고 의미적으로 유의미한 문장 표현을 학습하는 것으로 나타났다.