[논문 리뷰] An Unsupervised Sentence Embedding Method byMutual Information Maximization

Yan Zhang, Ruidan He외 3명|arXiv (Cornell University)|2020. 09. 25.

Topic Modeling참고 문헌 45인용 수 5

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하여 문장 임베딩을 의미 있는 방식으로 학습하기 위해 상호정보량을 최대화하는 경량의 자기지도 학습 방법을 제안한다. 이로 인해 비지도 의미적 텍스트 유사도 및 후속 작업에서 최신 기술 수준의 성능을 달성하였으며, 특히 자원이 적은 도메인에서는 SBERT를 능가한다.

ABSTRACT

BERT is inefficient for sentence-pair tasks such as clustering or semantic search as it needs to evaluate combinatorially many sentence pairs which is very time-consuming. Sentence BERT (SBERT) attempted to solve this challenge by learning semantically meaningful representations of single sentences, such that similarity comparison can be easily accessed. However, SBERT is trained on corpus with high-quality labeled sentence pairs, which limits its application to tasks where labeled data is extremely scarce. In this paper, we propose a lightweight extension on top of BERT and a novel self-supervised learning objective based on mutual information maximization strategies to derive meaningful sentence embeddings in an unsupervised manner. Unlike SBERT, our method is not restricted by the availability of labeled data, such that it can be applied on different domain-specific corpus. Experimental results show that the proposed method significantly outperforms other unsupervised sentence embedding baselines on common semantic textual similarity (STS) tasks and downstream supervised tasks. It also outperforms SBERT in a setting where in-domain labeled data is not available, and achieves performance competitive with supervised methods on various tasks.

연구 동기 및 목표

• 문장 쌍 작업에서 BERT의 조합적 쌍 평가로 인한 비효율성을 해결하기 위해.
• SBERT가 고품질의 레이블이 있는 문장 쌍에 의존하는 점을 해결하여 자원이 적은 환경에서의 적용 가능성을 높이기 위해.
• 도메인 특화된 레이블이 없는 코퍼스에서 효과적으로 작동하는 자기지도 학습 문장 임베딩 방법을 개발하기 위해.
• 레이블이 없는 데이터가 필요 없이 비지도 의미적 텍스트 유사도 및 후속 작업에서 성능을 향상시키기 위해.

제안 방법

• 문장 수준의 표현을 학습하기 위해 BERT에 가벼운 어댑터 모듈을 통합한다.
• 문장 쌍 간의 상호정보량 최대화에 기반한 새로운 자기지도 학습 목표를 도입한다.
• 대조 학습 원리를 사용하여 의미적으로 유사한 문장을 정렬하고, 유사하지 않은 문장을 분리하도록 모델을 훈련한다.
• 자기지도 사전학습 중 훈련 동역학을 안정화하기 위해 모멘터리 엔코더를 활용한다.
• 인간이 애너테이션한 쌍에 의존하지 않고도 강건한 문장 표현을 학습하기 위해 상호정보량 목표를 활용한다.
• 상호정보량 추정에서 유도된 대조 손실을 사용하여 모델을 종합적으로 최적화한다.

실험 결과

연구 질문

• RQ1 비지도 방식으로 문장 임베딩을 학습하기 위해 상호정보량 최대화를 효과적으로 활용할 수 있는가?
• RQ2 기존의 비지도 문장 임베딩 기준 기반으로 의미적 텍스트 유사도 작업에서 제안된 방법의 성능은 어떻게 되는가?
• RQ3 레이블이 부족한 자원이 적은 도메인으로의 일반화 능력은 어느 정도인가?
• RQ4 도메인 내 레이블이 없는 데이터가 없을 경우, SBERT와 같은 지도 학습 방법과 경쟁 가능한 성능을 달성하는가?

주요 결과

• 제안된 방법은 표준 의미적 텍스트 유사도(STS) 벤치마크에서 기존의 비지도 문장 임베딩 기준보다 뚜렷이 뛰어난 성능을 보였다.
• 레이블이 전혀 없는 조건에서도 다양한 후속 작업에서 지도 학습 방법과 경쟁 가능한 성능을 달성하였다.
• 도메인 내 레이블이 없는 데이터가 없는 환경에서 SBERT를 능가하여, 더 뛰어난 제로샷 일반화 성능을 보였다.
• 비지도 STS 작업에서 최신 기술 수준의 결과를 달성하여, 자기지도 학습에 상호정보량 최대화가 효과적임을 입증하였다.
• 효율적이고 확장 가능한 방법으로, BERT의 문장 쌍 응용에서 발생하는 조합적 비용을 피할 수 있었다.
• 비지도 성격과 레이블이 있는 쌍에 대한 의존도가 없기 때문에, 다양한 도메인 특화 코퍼스 간에 잘 일반화되는 경향을 보였다.