[논문 리뷰] Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

Nils Reimers, Iryna Gurevych|TUbilio (Technical University of Darmstadt)|2019. 08. 27.

Topic Modeling참고 문헌 38인용 수 88

한 줄 요약

SBERT는 시암/트립렛 아키텍처로 BERT를 미세조정하여 고정 크기의 문장 임베딩을 생성하고, 코사인 기반의 의미 유사도, 클러스터링, 검색을 빠르게 수행하며 높은 정확도를 유지합니다.

ABSTRACT

BERT (Devlin et al., 2018) and RoBERTa (Liu et al., 2019) has set a new state-of-the-art performance on sentence-pair regression tasks like semantic textual similarity (STS). However, it requires that both sentences are fed into the network, which causes a massive computational overhead: Finding the most similar pair in a collection of 10,000 sentences requires about 50 million inference computations (~65 hours) with BERT. The construction of BERT makes it unsuitable for semantic similarity search as well as for unsupervised tasks like clustering. In this publication, we present Sentence-BERT (SBERT), a modification of the pretrained BERT network that use siamese and triplet network structures to derive semantically meaningful sentence embeddings that can be compared using cosine-similarity. This reduces the effort for finding the most similar pair from 65 hours with BERT / RoBERTa to about 5 seconds with SBERT, while maintaining the accuracy from BERT. We evaluate SBERT and SRoBERTa on common STS tasks and transfer learning tasks, where it outperforms other state-of-the-art sentence embeddings methods.

연구 동기 및 목표

• 대규모 문장 컬렉션에서 효율적인 의미 유사성 및 검색의 필요성을 제시한다.
• 빠른 유사도 검색에 적합한 고정 크기 문장 임베딩을 생성하는 BERT의 수정안을 제안한다.
• SBERT가 STS 및 관련 벤치마크에서 현 상태의 최첨단 성능을 유지하거나 개선함을 입증한다.
• 대규모 작업에서 표준 BERT에 비해 SBERT의 계산상의 이점을 보여준다.

제안 방법

• 시암/트립렛 네트워크 구조를 사용하여 사전 학습된 BERT/RoBERTa를 문장 임베딩으로 미세조정한다.
• BERT 출력에 대한 풀링(MEAN, CLS, MAX)을 적용하여 고정 크기 문장 벡터를 얻는다(기본값은 MEAN).
• 분류, 회귀 또는 트립렛 목표를 통해 의미적으로 의미 있는 임베딩을 보장한다.
• 의미적 관련성 작업을 위해 문장 임베딩 간 코사인 유사도를 계산한다.
• SNLI 및 MultiNLI(NLI 데이터)에서 학습한 후 STSb(또는 NLI + STSb)로 세부 조정하여 성능을 향상한다.
• STS 작업, AFS, SentEval를 사용하여 일반화 및 전이 가능성을 평가한다.

실험 결과

연구 질문

• RQ1 SBERT가 코사인 기반 유사도 측정에 적합한 의미적으로 의미 있는 문장 임베딩을 생성할 수 있는가?
• RQ2 시암/트립렛 목표로 BERT를 미세조정하면 STS 및 관련 벤치마크에서 기존 문장 임베딩 방법에 비해 성능이 향상되는가?
• RQ3 풀링 전략 및 목표 선택이 임베딩 품질 및 다운스트림 작업에 어떤 영향을 미치는가?
• RQ4 대규모 유사성 검색 및 군집화를 위한 SBERT의 교차 인코더 BERT 대비 계산상의 이점은 무엇인가?

주요 결과

• SBERT는 여러 STS 데이터세트에서 원시 BERT, InferSent, Universal Sentence Encoder에 비해 STS 상관관계를 크게 향상시킨다.
• STSb에서 SBERT-NLI-base는 77.03, SBERT-NLI-large는 79.23으로 STSb 훈련 설정에서 상태-오브-더-아트에 근접하거나 일치한다.
• SBERT는 SentEval 전이 작업에서 많은 베이스라인보다 우수하며, 감정 관련 작업에서 특히 향상된다.
• AFS 교차 주제 설정에서 SBERT는 10-fold CV에서 BERT에 근접하지만 교차 주제 일반화에서 더 큰 차이를 보이며 도메인 과제를 강조한다.
• SBERT-WikiSec 트리플렛 결과는 Wikipedia 섹션 데이터에서 이전 BiLSTM 트리플렛 접근법을 능가한다.
• SBERT는 계산 효율성을 크게 제공하여 대규모에서 빠른 유사도 검색 및 군집화를 가능하게 한다.