[논문 리뷰] Self-Guided Contrastive Learning for BERT Sentence Representations

Taeuk Kim, Kang Min Yoo외 1명|arXiv (Cornell University)|2021. 06. 03.

Topic Modeling참고 문헌 33인용 수 10

한 줄 요약

이 논문은 데이터 증강이 필요 없이 중간 히든 상태를 자기 생성된 양성 샘플로 사용함으로써 BERT 문장 표현을 향상시키는 자기지시 대비 학습(Self-Guided Contrastive Learning, SG-CL)을 제안한다. 이 방법은 여러 문장 유사도 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 후처리가 필요 없기 때문에 추론 효율성이 뛰어나다. STS-B에서 평균 스피어만 상관계수 74.62를 기록한다.

ABSTRACT

Although BERT and its variants have reshaped the NLP landscape, it still remains unclear how best to derive sentence embeddings from such pre-trained Transformers. In this work, we propose a contrastive learning method that utilizes self-guidance for improving the quality of BERT sentence representations. Our method fine-tunes BERT in a self-supervised fashion, does not rely on data augmentation, and enables the usual [CLS] token embeddings to function as sentence vectors. Moreover, we redesign the contrastive learning objective (NT-Xent) and apply it to sentence representation learning. We demonstrate with extensive experiments that our approach is more effective than competitive baselines on diverse sentence-related tasks. We also show it is efficient at inference and robust to domain shifts.

연구 동기 및 목표

• 표준 BERT 문장 표현이 [CLS] 토큰이나 평균 풀링을 통해 유도될 때 다운스트림 작업에서 최적의 성능을 내지 못하는 문제를 해결하기 위해.
• 데이터 증강이나 외부 감독 없이 BERT의 문장 수준 표현 학습을 향상시키기 위해.
• 내부 BERT 표현을 양성 샘플로 활용하여 자기지시를 받는 대비 학습 프레임워크를 설계하기 위해.
• 후처리 단계를 제거함으로써 추론 지연을 줄이고 도메인 이동에 대한 모델의 강건성을 향상시키기 위해.
• 자기지시 대비 학습이 정확성과 효율성 측면에서 기존 방법을 초월할 수 있음을 입증하기 위해.

제안 방법

• 이 방법은 최종 [CLS] 표현을 위한 양성 샘플로 층 간 중간 BERT 히든 상태를 취급하는 자기지시 메커니즘을 도입한다.
• 문장 표현 학습을 위해 NT-Xent 대비 손실을 적응시켜 최종 [CLS] 임베딩과 중간 표현 간의 의미 유사도를 최적화한다.
• 학습 과정에서 모델 자체의 내부 표현을 감독 신호로 사용하여 BERT를 자기지도 학습 방식으로 미세조정한다.
• 모델 자체의 히든 상태를 재활용함으로써 데이터 증강을 회피함으로써 학습 및 배포를 단순화한다.
• 최종 문장 임베딩을 만들기 위해 중간 층에 대해 최대 풀링을 적용하며, 추론 실험을 통해 그 효과를 입증한다.
• 수정된 대비 목표함수를 통합하여 [CLS] 벡터가 관련된 중간 표현과 정렬되도록 하면서도 음성 샘플과는 분리되도록 유도한다.

실험 결과

연구 질문

• RQ1 BERT의 내부 히든 표현은 효과적으로 자기 생성된 양성 샘플로 사용되어 문장 임베딩을 향상시킬 수 있는가?
• RQ2 BERT에 특화된 대비 학습 목표함수는 문장 유사도 작업에서 표준 풀링 및 미세조정 전략보다 우수한 성능을 낼 수 있는가?
• RQ3 자기지시 대비 학습은 데이터 증강이나 외부 감독 없이도 최신 기술 수준 성능을 달성할 수 있는가?
• RQ4 기존 기준 대비에 비해 이론적 추론 효율성과 도메인 이동에 대한 강건성 측면에서 제안된 방법은 어떻게 비교되는가?
• RQ5 백트랜스레이션과 같은 다른 대비 기법과의 조합이 성능 향상에 기여할 수 있는가?

주요 결과

• 제안된 방법은 STS-B 벤치마크에서 평균 스피어만 상관계수 74.62를 기록하며, [CLS] 풀링을 사용한 베이스라인 BERT(62.63)와 평균 풀링(63.19)보다 뚜렷이 뛰어나다.
• SG-OPT 변종을 사용할 경우, STS-B에서 77.23, STS15에서 81.56, STS14에서 80.13을 기록하여 다양한 데이터셋에서 뛰어난 일반화 능력을 입증한다.
• 추론 시 가장 효율적이며, 학습 후 후처리가 필요 없어 기존 기준 대비에 비해 뛰어난 성능을 보인다.
• 다양한 NLP 작업에서 도메인 이동에 대한 강건성이 향상되어 높은 성능을 유지한다.
• t-SNE를 활용한 시각화 결과, SG-OPT가 양성 문장 쌍의 클러스터링을 향상시키고 음성 쌍은 임베딩 공간에서 분리시키는 것으로 확인되었다.
• 백트랜스레이션과 앙상블을 통합하면 STS-B에서 평균 스피어만 상관계수 75.10을 달성하여 기법 간 상호보완성이 있음을 시사한다.