[논문 리뷰] On the Sentence Embeddings from Pre-trained Language Models

Bohan Li, Hao Zhou외 4명|arXiv (Cornell University)|2020. 11. 02.

Topic Modeling참고 문헌 34인용 수 24

한 줄 요약

이 논문은 비지도 정규화 흐름을 사용하여 BERT의 이방성 문장 임베딩을 부드럽고 등방성 가우시안 분포로 변환하는 BERT-flow를 제안한다. 이는 유사어적 유사성 상관관계를 감소시켜 의미적 텍스트 유사도 성능을 크게 향상시킨다. 이 방법은 후행 미세조정 없이도 여러 STS 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Pre-trained contextual representations like BERT have achieved great success in natural language processing. However, the sentence embeddings from the pre-trained language models without fine-tuning have been found to poorly capture semantic meaning of sentences. In this paper, we argue that the semantic information in the BERT embeddings is not fully exploited. We first reveal the theoretical connection between the masked language model pre-training objective and the semantic similarity task theoretically, and then analyze the BERT sentence embeddings empirically. We find that BERT always induces a non-smooth anisotropic semantic space of sentences, which harms its performance of semantic similarity. To address this issue, we propose to transform the anisotropic sentence embedding distribution to a smooth and isotropic Gaussian distribution through normalizing flows that are learned with an unsupervised objective. Experimental results show that our proposed BERT-flow method obtains significant performance gains over the state-of-the-art sentence embeddings on a variety of semantic textual similarity tasks. The code is available at https://github.com/bohanli/BERT-flow.

연구 동기 및 목표

• 강력한 사전학습에도 불구하고 BERT 문장 임베딩이 의미적 텍스트 유사도 작업에서 성능이 떨어지는 이유를 조사하기 위해.
• 특히 문장 임베딩 공간의 이방성과 비연속성으로 인한 성능 저하의 근본 원인을 규명하기 위해.
• 라벨이 없는 데이터나 미세조정 없이도 BERT 문장 임베딩을 향상시키는 비지도 방법을 개발하기 위해.
• BERT에 의해 유도된 유사도와 어휘 유사성(예: 편집 거리) 간의 과도한 상관관계를 줄이기 위해.

제안 방법

• 정규화 흐름—학습 가능한 신경망 기반 변환을 갖춘 가역 생성 모델의 일종—을 사용하여 BERT 문장 임베딩을 표준 가우시안 잠재 공간으로 매핑한다.
• 관측된 BERT 임베딩을 표준 가우시안 사전 분포에서 생성할 확률을 최대화함으로써 비지도 방식으로 흐름 네트워크를 훈련시킨다.
• BERT 파라미터를 동결한 채로 훈련을 수행하여 원래의 문맥적 표현을 유지한다.
• 학습된 가역 매핑을 사용해 BERT 문장 임베딩을 더 부드럽고 등방성인 잠재 공간으로 변환함으로써 의미적 유사도를 더 잘 반영하도록 한다.
• 변환은 추론 시 적용되며, 잠재 공간에서 코사인 유사도를 통해 개선된 유사도 계산이 가능해진다.
• 이 방법은 후행 미세조정 없이도 의미적 텍스트 유사도 작업에서 종합적으로 평가된다.

실험 결과

연구 질문

• RQ1 강력한 사전학습에도 불구하고 BERT 문장 임베딩이 의미적 텍스트 유사도 작업에서 성능이 떨어지는 이유는 무엇인가?
• RQ2 BERT 문장 임베딩 공간의 이방성과 비연속성은 의미적 유사도 추정에 얼마나 심각한 영향을 미치는가?
• RQ3 라벨이 없는 데이터나 미세조정 없이도 BERT의 문장 임베딩을 향상시킬 수 있는 비지도 가역 변환은 가능한가?
• RQ4 제안된 방법은 임베딩 유사도와 어휘 유사도(예: 편집 거리) 간의 허구적 상관관계를 줄일 수 있는가?
• RQ5 흐름 기반 변환은 의미적 텍스트 유사도 벤치마크에서 최고 성능을 낼 수 있는가?

주요 결과

• BERT-flow는 7개의 의미적 텍스트 유사도 벤치마크에서 BERT보다 평균 스피어먼 상관계수 8.16점 향상되었으며, 최대 향상폭은 12.70점이었다.
• BERT에 의한 유사도와 편집 거리 간 상관계수는 ρ = -50.49에서 ρ = -28.01로 감소하여 어휘 유사성에 대한 의존도가 낮아졌다.
• 표준 정규화 및 최상위 k개의 특이벡터 제거(NATSV)와 같은 이전 기준 방법보다 BERT-flow가 더 우수한 성능을 보였다.
• 외부 자연어 추론 작업에서의 지도 학습 정보와 조합해도 BERT-flow는 sentence-BERT를 초월하는 성능을 보였다.
• 특히 편집 거리 ≤4인 문장 쌍에서 어휘 유사성의 영향을 효과적으로 억제하였으며, 이 경우 BERT의 유사도는 어휘 변화에 과도하게 연관되어 있었다.
• 학습된 흐름 변환은 모든 의미 정보를 유지하면서도 임베딩 공간을 더 부드럽고 등방성으로 만들어 인간 평가된 의미적 유사도와 더 잘 일치시켰다.