[논문 리뷰] SBERT-WK: A Sentence Embedding Method by Dissecting BERT-based Word Models

Bin Wang, C.‐C. Jay Kuo|arXiv (Cornell University)|2020. 02. 16.

Topic Modeling참고 문헌 50인용 수 14

한 줄 요약

SBERT-WK는 BERT 기반 모델의 여러 레이어를 통해 정보성 있는 단어 표현을 추출하고 융합하는 기하 분석을 통해 새로운 문장 임베딩 방법을 제안한다. 추가 학습 없이도 레이어별 패턴과 두드러진 단어 표현을 활용하여 의미적 텍스트 유사도 및 후속 NLP 작업에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존의 SBERT나 BERT와 같은 방법들을 능가한다.

ABSTRACT

Sentence embedding is an important research topic in natural language processing (NLP) since it can transfer knowledge to downstream tasks. Meanwhile, a contextualized word representation, called BERT, achieves the state-of-the-art performance in quite a few NLP tasks. Yet, it is an open problem to generate a high quality sentence representation from BERT-based word models. It was shown in previous study that different layers of BERT capture different linguistic properties. This allows us to fusion information across layers to find better sentence representation. In this work, we study the layer-wise pattern of the word representation of deep contextualized models. Then, we propose a new sentence embedding method by dissecting BERT-based word models through geometric analysis of the space spanned by the word representation. It is called the SBERT-WK method. No further training is required in SBERT-WK. We evaluate SBERT-WK on semantic textual similarity and downstream supervised tasks. Furthermore, ten sentence-level probing tasks are presented for detailed linguistic analysis. Experiments show that SBERT-WK achieves the state-of-the-art performance. Our codes are publicly available.

연구 동기 및 목표

• 사전에 훈련된 BERT 기반 모델로부터 고품질의 문장 표현을 생성하는 데 있어 열려 있는 문제를 해결하기 위해.
• BERT와 같은 깊이 있는 컨텍스트 기반 모델에서 단어 표현이 레이어 간에 어떻게 변화하는지 조사하기 위해.
• 다양한 레이어의 정보를 효과적으로 융합하는 훈련 없이도 작동하는 문장 임베딩 방법을 개발하기 위해.
• 의미 유사도 및 후속 NLP 작업에서 제안된 방법의 언어학적 해석 가능성과 성능을 평가하기 위해.

제안 방법

• 이 방법은 단어 표현 공간의 기하 구조를 분석하기 위해 특이값 분해(SVD)와 QR 분해를 사용하여 BERT 레이어 간의 기하학적 특성을 분석한다.
• 표현의 변동성을 측정하여 레이어 간에 높은 변동성을 보이는 단어가 더 정보성이 높다는 점을 기반으로 주목할 만한 단어 표현을 식별한다.
• 선택된 레이어 범위에서 표현을 윈도우 기반으로 집계하며, 기본 윈도우 크기 m=2와 시작 레이어 l_S=4를 사용한다.
• 최종 문장 임베딩은 선택된 단어 표현의 가중 평균으로 계산되며, 가중치는 부분공간의 기하학적 구조에서 유도된다.
• 이 방법은 RoBERTa를 포함한 다양한 BERT 기반 모델과 호환되며, 추가적인 미세조정이 필요하지 않다.
• 이중 단계 프로세스를 사용한다: 첫 번째 단계에서는 부분공간 분석을 통해 정보성 있는 레이어와 단어를 식별하고, 두 번째 단계에서는 안정적인 융합 방법을 통해 선택된 표현을 통합한다.

실험 결과

연구 질문

• RQ1 BERT 기반 모델에서 단어 표현은 레이어 간에 어떻게 변화하는가? 그리고 언어학적 정보성과 관련된 패턴은 무엇인가?
• RQ2 단어 표현이 생성하는 부분공간의 기하 분석이 문장 임베딩 품질을 향상시킬 수 있는가?
• RQ3 레이어 선택과 윈도우 크기의 설정이 후속 작업에서 문장 임베딩 성능에 미치는 영향은 어떠한가?
• RQ4 훈련 없이도 SBERT와 같은 미세조정된 문장 임베딩 모델을 의미적 텍스트 유사도 및 후속 NLP 작업에서 능가할 수 있는가?
• RQ5 probing 작업을 통해 드러난 바에 따르면, SBERT-WK가 생성한 문장 표현에는 어떤 언어학적 특성이 포함되어 있는가?

주요 결과

• STS-B 벤치마크에서 SBERT-WK는 피어슨 상관계수 74.21을 기록하여 SBERT(73.14)와 BERT 기반 기준선을 모두 능가한다.
• SICK-E 데이터셋에서 SBERT-WK는 테스트 정확도 91.67%를 달성하여 다음으로 우수한 기준선보다 1.5퍼센트 이상 높다.
• 초기화 설정에 대해 매우 강건하다: 윈도우 크기(m=1에서 4)와 시작 레이어 선택(l_S=0에서 6)에 관계없이 성능이 안정적으로 유지된다.
• CPU에서의 추론 시간은 BERT 대비 5% 뿐 더 길며, 샘플당 총 179.27ms로 계산적으로 효율적이다.
• 문장 수준의 프로빙 작업 결과, SBERT-WK는 문법, 의미, 형태학적 특성과 같은 다양한 언어학적 특성을 잘 포착하고 있음을 확인했다.
• 기하 분석 결과, 레이어 간 표현 변동성이 높은 단어일수록 더 정보성이 높다는 점이 확인되어, 이 방법의 핵심 가정이 타당함을 입증했다.