[논문 리뷰] ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer

Yuanmeng Yan, Rumei Li외 4명|arXiv (Cornell University)|2021. 05. 25.

Topic Modeling참고 문헌 36인용 수 47

한 줄 요약

ConSERT은 대조 학습 목표와 데이터 증강으로 BERT의 붕괴된 문장 표현을 수정하고 무감독 및 감독 설정에서 최첨단 STS 성능을 달성하며 데이터가 적은 상황에서도 강건함을 보여준다.

ABSTRACT

Learning high-quality sentence representations benefits a wide range of natural language processing tasks. Though BERT-based pre-trained language models achieve high performance on many downstream tasks, the native derived sentence representations are proved to be collapsed and thus produce a poor performance on the semantic textual similarity (STS) tasks. In this paper, we present ConSERT, a Contrastive Framework for Self-Supervised Sentence Representation Transfer, that adopts contrastive learning to fine-tune BERT in an unsupervised and effective way. By making use of unlabeled texts, ConSERT solves the collapse issue of BERT-derived sentence representations and make them more applicable for downstream tasks. Experiments on STS datasets demonstrate that ConSERT achieves an 8\% relative improvement over the previous state-of-the-art, even comparable to the supervised SBERT-NLI. And when further incorporating NLI supervision, we achieve new state-of-the-art performance on STS tasks. Moreover, ConSERT obtains comparable results with only 1000 samples available, showing its robustness in data scarcity scenarios.

연구 동기 및 목표

• 네이티브 BERT 임베딩을 넘어서는 의미 공간의 붕괴로 인한 고품질 문장 표현의 필요성을 동기 부여합니다.
• 추가 추론 비용 없이 문장 표현을 재구성하는 대조적이고 자기지도적인 미세 조정 프레임워크를 제안합니다.
• 대조 학습을 위한 뷰 쌍을 생성하기 위한 데이터 증강 전략을 탐색합니다.
• 무감독 미세 조정 및 보강된 감독 신호(예: NLI)를 활용한 효과를 시연합니다.
• 적은 데이터 상황에서의 강건성을 보여주고 임베딩 공간의 변화를 분석합니다.

제안 방법

• 공유된 BERT 인코더 위에 SimCLR 유사한 대조 목적 함수(NT-Xent)를 채택합니다.
• 토큰 임베딩 층에서 적용된 데이터 증강을 통해 문장당 두 개의 뷰를 생성합니다.
• 마지막 층의 토큰 임베딩을 평균내어 문장 표현을 얻고, 같은 문장의 뷰를 함께 모으고 배치 내의 다른 뷰를 서로 멀어지게 만드는 대조 손실을 적용합니다.
• 네 가지 증강 전략을 탐색합니다: 적대적 공격(감독 전용), 토큰 섞기, 토큰/특징 컷오프, 드롭아웃.
• NL I를 통한 감독 신호를 공동, 감독-무감독, 또는 공동-무감독 학습 방식으로 선택적으로 도입합니다.
• STS 데이터셋에서 Spearman 상관계수를 사용하여 성능을 보고하고, 데이터 증강 및 하이퍼파라미터에 대한 ablations를 제공합니다.

실험 결과

연구 질문

• RQ1 대조적 자기지도 학습이 BERT의 문장 표현 붕괴를 STS 작업에서 극복할 수 있는가?
• RQ2 다양한 데이터 증강 전략이 무감독 문장 전이 성능에 어떤 영향을 미치는가?
• RQ3 감독 신호(NLI) 포함과 무감독 전이가 STS에서 최첨단 결과를 낳는가?
• RQ4 적은 수의 비표시 데이터 환경에서 ConSERT의 다운스트림 STS 작업에 대한 강건성은 어떠한가?

주요 결과

방법	STS12	STS13	STS14	STS15	STS16	STSb	SICK-R	Avg
ConSERT base	64.64	78.49	69.07	79.72	75.95	73.97	67.31	72.74
ConSERT large	70.69	82.96	74.13	82.78	76.66	77.53	70.37	76.45

• ConSERT large는 무감독 STS 성능에서 최고를 달성했으며, 평균적으로 BERT-flow 대비 8% 상대 이득을 보였다.
• ConSERT large는 여러 감독 기준선을 상회하고 무감독 설정에서 SBERT-NLI와 경쟁적이다.
• NLI 감독을 통한 결합 및 무감독 전이가 감독 설정에서 새로운 최첨단 STS 성능을 낳았다.
• 단 1000개의 비표시 샘플으로도 ConSERT는 강건함을 유지하고 전체 데이터 성능에 근접하며, 소수 샷 결과는 기준선 대비 큰 이점을 보인다.
• 데이터 증강 전략인 Shuffle와 Token Cutoff이 특히 효과적이며, Feature Cutoff와의 조합이 성능을 향상시킨다.
• 임베딩 공간 분석은 ConSERT가 자주 등장하는 토큰의 지배력을 감소시켜 붕괴를 완화함을 보여준다.