[논문 리뷰] S-SimCSE: Sampled Sub-networks for Contrastive Learning of Sentence Embedding

Junlei Zhang, Zhenzhong Lan|arXiv (Cornell University)|2021. 11. 23.

Topic Modeling참고 문헌 10인용 수 5

한 줄 요약

이 논문은 문장 임베딩을 위한 대비 학습 방법인 S-SimCSE를 제안한다. 학습 중에 드롭아웃 비율을 분포에서 샘플링하여, 동일한 문장에 대해 서로 다른 기대 스케일을 가진 서브넷들이 유사한 표현을 학습하도록 유도한다. 각 순전파마다 드롭아웃 비율을 동적으로 변동시키고 문장별 마스크 샘플링을 사용함으로써, S-SimCSE는 BERT-base 기반으로 여러 STS 벤치마크에서 SimCSE를 1퍼센트 이상 초월하는 성능을 달성한다.

ABSTRACT

Contrastive learning has been studied for improving the performance of learning sentence embeddings. The current state-of-the-art method is the SimCSE, which takes dropout as the data augmentation method and feeds a pre-trained transformer encoder the same input sentence twice. The corresponding outputs, two sentence embeddings derived from the same sentence with different dropout masks, can be used to build a positive pair. A network being applied with a dropout mask can be regarded as a sub-network of itsef, whose expected scale is determined by the dropout rate. In this paper, we push sub-networks with different expected scales learn similar embedding for the same sentence. SimCSE failed to do so because they fixed the dropout rate to a tuned hyperparameter. We achieve this by sampling dropout rate from a distribution eatch forward process. As this method may make optimization harder, we also propose a simple sentence-wise mask strategy to sample more sub-networks. We evaluated the proposed S-SimCSE on several popular semantic text similarity datasets. Experimental results show that S-SimCSE outperforms the state-of-the-art SimCSE more than $1\%$ on BERT$_{base}$

연구 동기 및 목표

• 동일한 입력 문장에 대해 기대 스케일이 다른 서브넷들이 유사한 표현을 학습할 수 있도록 하여 문장 임베딩 품질을 향상시키는 것.
• 고정된 드롭아웃 비율을 사용함으로써 서브넷 샘플링의 다양성이 제한되는 SimCSE의 한계를 해결하는 것.
• 문장별 드롭아웃 비율 샘플링을 도입하여 최적화 안정성과 표현 다양성을 향상시키는 것.
• 단지 비지도 사전 훈련을 사용하여 의미적 텍스트 유사도(STS) 작업에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• SimCSE에서처럼 고정된 비율을 사용하는 대신, 각 순전파마다 사전 정의된 분포(예: 균일 분포)에서 두 개의 드롭아웃 비율을 동적으로 샘플링한다.
• 이러한 샘플된 드롭아웃 비율을 동일한 입력 문장에 두 번 적용하여, 서로 다른 기대 스케일을 가진 두 개의 별개의 서브넷을 생성한다.
• 이러한 서브넷에서 유도된 임베딩을 대비 학습에서 양성 쌍으로 사용하여, 서로 의미적으로 유사하도록 유도한다.
• 각 배치의 각 문장에 대해 새로운 드롭아웃 비율을 샘플링하는 문장별 마스크 전략을 도입하여 서브넷의 수를 늘리고 최적화를 향상시킨다.
• 동일한 배치 내의 양성 쌍과 음성 쌍 간의 온도 조정된 코사인 유사도를 사용한 대비 손실 함수로 훈련한다.
• 표준 트랜스포머 아키텍처와 동일하게, 사전 훈련된 트랜스포머 인코더(예: BERT, RoBERTa)를 사용하고 드롭아웃은 완전 연결 레이어 이전에만 적용한다.

실험 결과

연구 질문

• RQ1 학습 중에 드롭아웃 비율을 분포에서 샘플링하는 것이 문장 임베딩의 강건성과 일반화 능력을 향상시키는가?
• RQ2 동적 드롭아웃 비율을 통해 서브넷의 기대 스케일을 다양화하면 고정 비율 드롭아웃보다 더 나은 의미적 표현 학습이 가능한가?
• RQ3 문장별 드롭아웃 비율 샘플링이 대비 학습에서 최적화 안정성과 표현 다양성을 향상시키는가?
• RQ4 제안된 방법은 표준 STS 벤치마크에서 SimCSE에 비해 성능 면에서 어떻게 비교되는가?

주요 결과

• BERT-base를 사용할 때, S-SimCSE는 7개의 STS 작업 평균에서 SimCSE를 1.03% 초월하여 평균 스피어만 상관계수 76.92%를 달성한다.
• BERT-large에서는 S-SimCSE가 SimCSE를 1.12% 향상시켜 평균 스피어만 상관계수 79.27%를 기록한다.
• 문장별 드롭아웃 마스크 전략(w/ sd)은 성능을 추가로 향상시키며, BERT-base에서는 최대 스피어만 점수 77.35점, BERT-large에서는 79.42점에 도달한다.
• S-SimCSE는 RoBERTa-base를 포함한 다양한 아키텍처에서도 강력한 성능을 유지하여, 평균 스피어만 상관계수 77.08%를 기록하며 SimCSE의 76.87%를 초월한다.
• 이 방법은 모든 7개의 STS 기준 데이터셋에서 일관되게 성능 향상을 보이며, 강건성과 일반화 능력을 입증한다.