[논문 리뷰] Sentence Embeddings using Supervised Contrastive Learning

Danqi Liao|arXiv (Cornell University)|2021. 06. 09.

Topic Modeling참고 문헌 26인용 수 9

한 줄 요약

이 논문은 SNLI 데이터에서 BERT를 미세조정할 때 교차 엔트로피 손실과 대비 손실을 모두 사용하여 문장 임베딩을 향상시키기 위한 지도형 대비 학습 방법을 제안한다. 이 방법은 상태의 기준 성능을 달성하며, 평균 STS 벤치마크 점수를 SBERT 대비 2.8% 향상시키고, 전이 작업 성능을 1.05% 향상시키며, 단지 16분의 훈련 오버헤드만을 요구한다.

ABSTRACT

Sentence embeddings encode sentences in fixed dense vectors and have played an important role in various NLP tasks and systems. Methods for building sentence embeddings include unsupervised learning such as Quick-Thoughts and supervised learning such as InferSent. With the success of pretrained NLP models, recent research shows that fine-tuning pretrained BERT on SNLI and Multi-NLI data creates state-of-the-art sentence embeddings, outperforming previous sentence embeddings methods on various evaluation benchmarks. In this paper, we propose a new method to build sentence embeddings by doing supervised contrastive learning. Specifically our method fine-tunes pretrained BERT on SNLI data, incorporating both supervised crossentropy loss and supervised contrastive loss. Compared with baseline where fine-tuning is only done with supervised cross-entropy loss similar to current state-of-the-art method SBERT, our supervised contrastive method improves 2.8% in average on Semantic Textual Similarity (STS) benchmarks and 1.05% in average on various sentence transfer tasks.

연구 동기 및 목표

• 지난 대비 학습에서 레이블 정보를 활용하여 문장 임베딩 품질을 향상시키기 위해.
• 미세조정 중에 교차 엔트로피 손실과 대비 손실을 결합함으로써 의미 표현 학습이 향상되는지 조사하기 위해.
• 문장 수준의 전이 작업과 비지도 STS 벤치마크에서 지도형 대비 학습의 효과를 평가하기 위해.
• 대비 목적 함수에서 하이퍼파라미터 감도(λ, 온도, 양성/음성 샘플링)를 분석하기 위해.
• 기존의 미세조정 기준 대비 제안된 방법의 계산 효율성을 입증하기 위해.

제안 방법

• 표준 교차 엔트로피 손실과 지도형 대비 손실이라는 이중 목적을 사용하여 SNLI 데이터에서 BERT를 미세조정한다.
• 앵커, 양성 및 음성 문장 쌍의 문장 임베딩을 계산하기 위해 두 BERT 인코더 간에 가중치를 공유한다.
• 양성 문장 임베딩을 가까이, 음성 문장 임베딩을 멀리 하는 방식으로 임베딩 공간에서 대비 손실을 적용한다.
• 온도 스케일링된 소프트맥스를 사용하여 대비 손실을 계산하며, 온도 τ에 대한 하이퍼파라미터 튜닝을 수행한다.
• 교차 엔트로피 손실과 대비 손실의 가중 조합을 사용하며, 두 목적 간의 균형을 조절하는 데 하이퍼파라미터 λ를 사용한다.
• 대비 신호를 최대화하기 위해, 각 앵커에 대해 SNLI 훈련 배치에서 이용 가능한 모든 양성 및 음성 문장을 샘플링한다.

실험 결과

연구 질문

• RQ1 BERT 미세조정 중에 지도형 대비 학습을 통합하면 STS 벤치마크에서 문장 임베딩 품질이 향상되는가?
• RQ2 교차 엔트로피 손실만을 사용하는 SBERT와 비교해 볼 때, 제안된 방법의 성능는 어떠한가?
• RQ3 하이퍼파라미터 λ(손실 가중치), τ(온도), N+ / N−(양성/음성 샘플 수)가 모델 성능에 어떤 영향을 미치는가?
• RQ4 지도형 대비 학습은 비지도(STS)와 지도된(SentEval) 전이 작업 모두에서 일관된 성능 향상을 제공하는가?
• RQ5 기존의 표준 미세조정 기준 대비 제안된 방법은 계산적으로 효율적인가?

주요 결과

• 제안된 방법은 SBERT 베이스라인 대비 평균 STS 벤치마크 성능을 2.8% 향상시켰다.
• 다양한 문장 전이 작업에서, SBERT 베이스라인 대비 평균 정확도에서 1.05% 향상된 성과를 기록했다.
• 최적의 모델 구성은 SentEval 작업에선 λ = 0.1, STS 작업에선 λ = 0.3를 사용하며, 이는 최적의 손실 가중치가 평가 작업에 따라 다름을 시사한다.
• 온도 τ = 1.0이 STS 및 SentEval 작업 모두에서 최고의 성능을 냈으며, 이는 딱딱한 음성과 부드러운 음성 간의 균형을 이룬다는 것을 시사한다.
• 각 앵커에 대해 이용 가능한 모든 양성 및 음성 샘플(N+ = all, N− = all)을 사용할 경우 성능이 가장 높았으며, λ = 1.0일 때는 대비 손실만 사용할 경우 성능 저하가 발생했다.
• 이 방법은 계산적으로 효율적이며, 최고의 모델을 훈련하는 데 36분이 소요되었으며, SBERT 베이스라인 대비 단지 16분 더 많은 훈련 시간이 소요되었다.