[논문 리뷰] Universal Text Representation from BERT: An Empirical Study

Xiaofei Ma, Zhiguo Wang외 3명|arXiv (Cornell University)|2019. 10. 17.

Topic Modeling참고 문헌 17인용 수 40

한 줄 요약

이 논문은 BERT 활성화를 문장 및 패시지 표현을 위한 보편적 텍스트 임베딩으로 경험적으로 분석하고, 층 선택, 풀링, 미세조정이 태스크 간 성능에 미치는 영향을 보여주며, QA에 대한 도메인 내 감독 학습된 BERT와의 차이가 크게 나타난다는 것을 보여준다.

ABSTRACT

We present a systematic investigation of layer-wise BERT activations for general-purpose text representations to understand what linguistic information they capture and how transferable they are across different tasks. Sentence-level embeddings are evaluated against two state-of-the-art models on downstream and probing tasks from SentEval, while passage-level embeddings are evaluated on four question-answering (QA) datasets under a learning-to-rank problem setting. Embeddings from the pre-trained BERT model perform poorly in semantic similarity and sentence surface information probing tasks. Fine-tuning BERT on natural language inference data greatly improves the quality of the embeddings. Combining embeddings from different BERT layers can further boost performance. BERT embeddings outperform BM25 baseline significantly on factoid QA datasets at the passage level, but fail to perform better than BM25 on non-factoid datasets. For all QA datasets, there is a gap between embedding-based method and in-domain fine-tuned BERT (we report new state-of-the-art results on two datasets), which suggests deep interactions between question and answer pairs are critical for those hard tasks.

연구 동기 및 목표

• BERT 층 활성화가 보편 텍스트 임베딩으로 사용될 때 어떤 언어 정보를 포착하는지 조사한다.
• 하위 작업 및 프로빙 태스크에서 문장 수준 임베딩을 평가하고 최첨단 모델과 비교한다.
• 학습-대-랭크 설정에서 QA 데이터세트에 대한 패시지 수준 임베딩을 평가하여 전이 가능성을 평가한다.
• 최적의 임베딩 성능을 위한 효과적인 풀링 전략과 층 조합을 결정한다.

제안 방법

• 다른 BERT 인코더 층에서 임베딩을 추출하고 로지스틱 회귀 헤드를 적용하여 태스크 성능을 평가한다.
• 가장 좋은 문장 표현을 얻기 위해 CLS, SEP, 평균, 최대 풀링 방법을 평가한다.
• 자연어 추론 데이터(MNLI, SNLI)에서 BERT를 미세조정하여 임베딩에 대한 영향을 연구한다.
• 여러 층의 임베딩을 결합하고 간단한 읽기 방법(로지스틱 회귀, MLP)을 평가하여 선형 분리가 충분한지 테스트한다.
• 쿼리-패시지 임베딩 간 다양한 상호작용 스킴을 사용한 학습-대-랭크 설정에서 네 가지 QA 데이터세트의 패시지 임베딩을 평가한다.

실험 결과

연구 질문

• RQ1 BERT 활성화가 벤치마크 태스크 전반에서 보편 문장 임베딩으로서 얼마나 잘 작동하는가?
• RQ2 층 깊이와 풀링 전략이 구문적, 의미적, 표면적 정보에 대한 BERT 기반 임베딩의 품질에 어떤 영향을 미치는가?
• RQ3 사전 학습된 BERT와 미세조정된 BERT가 문장 태스크의 임베딩 품질에 미치는 영향은 무엇인가?
• RQ4 여러 층의 임베딩을 결합하면 성능이 향상될 수 있는가, 단순 선형 읽기만으로 충분한가?
• RQ5 BM25와 완전 미세조정된 BERT와 비교했을 때, 학습-대-랭크 하에서 BERT 임베딩은 패시지 수준 QA에서 어떤 성능을 보이는가?

주요 결과

작업	PT (t)	MNLI (t)	SNLI (t)	PT (t+b)	MNLI (t+b)	SNLI (t+b)	GloVe	USE	InferSent
Semantic Similarity	82.2	89.8	97.6	90.6	94.9	98.5	76.7	99.1	95.6
Text Classification	97.1	97.2	97.7	97.1	98.0	98.0	92.8	97.5	95.3
Entailment	88.8	92.0	97.5	92.7	95.2	98.2	88.2	97.8	99.2
Surface Information	66.3	61.2	61.1	87.4	89.4	89.4	72.1	54.1	58.5
Syntactic Information	89.5	85.5	85.9	94.1	90.6	92.0	71.0	71.5	77.6
Semantic Information	97.0	96.3	95.9	97.4	96.4	96.0	84.6	88.2	90.7
Average Score	86.8	87.0	89.3	93.2	94.1	95.4	80.9	84.7	86.2

• 최상위 층 임베딩이 일반적으로 하위 층보다 우수한 경향이지만, 중간 층은 특정 의미론적 탐색 작업에서 뛰어나다.
• BERT 은닉 상태의 평균 풀링(mean-pooling)이 과제 범주 전반에서 CLS, SEP, 최대 풀링보다 일관되게 우수하다.
• NLI 데이터로의 미세조정은 임베딩 품질을 향상시키며, 특히 의미적 유사도 및 함의 태스크에서 효과가 크다.
• 상단과 하단 층의 임베딩을 결합하면 문장 수준에서 최상의 성능을 얻으며, 여러 층을 더 추가하거나 로지스틱 회귀 읽기만으로의 이점은 크지 않다.
• 패시지 QA의 경우 도메인 내 미세조정된 BERT가 최상의 결과를 보이며, BERT 임베딩은 사실형 데이터셋에서 BM25보다 우수하지만 비사실형 데이터셋에서는 더 낮은 성능을 보인다; 다층 풀링 및 상호작용 스킴은 성능을 향상시키며 도메인 내 미세조정이 가장 큰 이점을 제공한다.