[논문 리뷰] Whitening Sentence Representations for Better Semantics and Faster Retrieval

Jianlin Su, Jiarun Cao외 2명|arXiv (Cornell University)|2021. 03. 29.

Topic Modeling참고 문헌 16인용 수 204

한 줄 요약

이 논문은 BERT 스타일 모델의 문장 임베딩을 화이트닝하면 공간을 등방화하고 의미적 유사도 성능을 향상시키며 검색 속도를 높이기 위해 임베딩 차원을 줄일 수 있으며, 종종 BERT-flow 베이스라인을 능가합니다.

ABSTRACT

Pre-training models such as BERT have achieved great success in many natural language processing tasks. However, how to obtain better sentence representation through these pre-training models is still worthy to exploit. Previous work has shown that the anisotropy problem is an critical bottleneck for BERT-based sentence representation which hinders the model to fully utilize the underlying semantic features. Therefore, some attempts of boosting the isotropy of sentence distribution, such as flow-based model, have been applied to sentence representations and achieved some improvement. In this paper, we find that the whitening operation in traditional machine learning can similarly enhance the isotropy of sentence representations and achieve competitive results. Furthermore, the whitening technique is also capable of reducing the dimensionality of the sentence representation. Our experimental results show that it can not only achieve promising performance but also significantly reduce the storage cost and accelerate the model retrieval speed.

연구 동기 및 목표

• BERT 기반 문장 임베딩의 등방성 문제와 그것이 의미적 유사도 과제에 미치는 영향 연구.
• 문장 임베딩을 표준 직교 기저로 변환하는 화이트닝 후처리 방법 제안.
• 성과와 저장/속도 이점을 균형 있게 하기 위해 화이트닝 중 차원 축소(k) 탐구.
• NLI 감독 하에서도 방법을 여러 의미적 텍스트 유사성 벤치마크에서 평가.

제안 방법

• 임베딩 집합에 화이트닝 적용: 평균을 0으로 중심화하고 W를 통해 변환하되 W^T Σ W = I 이고 Σ는 임베딩의 공분산.
• SVD를 사용하여 Σ = U Λ U^T 및 W = U sqrt(Λ^{-1})로 화이트닝 행렬 W 계산.
• 원하는 경우 W의 처음 k 열만 남겨 Whitening-k(PCA와 유사한 축소) 적용.
• NLI 감독 여부에 관계없이 STS 벤치마크에서 코사인 유사도를 사용하여 성능 평가.
• 등방성 개선 및 검색 효율성을 평가하기 위해 BERT-flow 및 SBERT 베이스라인과 비교.

실험 결과

연구 질문

• RQ1 화이트닝이 BERT 기반 문장 임베딩을 등방적 공간으로 변환하여 코사인 기반 유사도 측정을 개선할 수 있는가?
• RQ2 화이트닝(차원 축소 여부에 따라)이 흐름 기반(BERT-flow) 베이스라인과 비교하여 STS 과제를 개선하는가?
• RQ3 임베딩 차원 k가 성능 및 검색 효율성에 어떤 영향을 미치는가?
• RQ4 감독 학습(NLI) 설정에서 화이트닝 기반 임베딩이 이득을 유지하는가?

주요 결과

• 화이트닝은 BERT-flow에 비해 여러 STS 벤치마크에서 스피어만 상관계수를 개선하고, 256/384 차원 임베딩에서 다수 데이터셋에 대해 현저히 비슷한 수준의 최첨단 성과를 달성합니다.
• 차원 축소( Whitening-k )는 종종 성능을 유지하거나 향상시키는 동시에 저장 공간을 크게 줄이고 검색 속도를 높입니다.
• NLI 감독이 있는 경우 화이트닝과 함께 사용하면 흐름 기반 방법보다 여러 데이터셋에서 경쟁적이거나 우수한 결과를 제공합니다.
• 다양한 STS 과제에서 BERT-base와 BERT-large 구성 모두에서 성능 향상이 관찰됩니다.
• 화이트닝은 등방성과 간결한 표현을 위한 흐름 기반 접근 방식에 대한 더 간단한 대안을 제공합니다.