[論文レビュー] Universal Text Representation from BERT: An Empirical Study

Xiaofei Ma, Zhiguo Wang+3 more|arXiv (Cornell University)|Oct 17, 2019

Topic Modeling参考文献 17被引用数 40

ひとこと要約

本論文は、BERTの活性化を文章・段落表現の普遍的なテキスト埋め込みとして経験的に分析し、層の選択、プーリング、微調整がタスク全体の性能に与える影響を示しつつ、QAにおける完全監視型のドメイン内BERTには依然として大きなギャップがあることを指摘している。

ABSTRACT

We present a systematic investigation of layer-wise BERT activations for general-purpose text representations to understand what linguistic information they capture and how transferable they are across different tasks. Sentence-level embeddings are evaluated against two state-of-the-art models on downstream and probing tasks from SentEval, while passage-level embeddings are evaluated on four question-answering (QA) datasets under a learning-to-rank problem setting. Embeddings from the pre-trained BERT model perform poorly in semantic similarity and sentence surface information probing tasks. Fine-tuning BERT on natural language inference data greatly improves the quality of the embeddings. Combining embeddings from different BERT layers can further boost performance. BERT embeddings outperform BM25 baseline significantly on factoid QA datasets at the passage level, but fail to perform better than BM25 on non-factoid datasets. For all QA datasets, there is a gap between embedding-based method and in-domain fine-tuned BERT (we report new state-of-the-art results on two datasets), which suggests deep interactions between question and answer pairs are critical for those hard tasks.

研究の動機と目的

• BERTの層の活性化が普遍的なテキスト埋め込みとして用いられる場合、どのような言語情報を捉えているかを調査する。
• 下流タスクとプロービングタスクにおける文レベルの埋め込みを評価し、最先端モデルと比較する。
• 学習順序設定（learning-to-rank）でQAデータセットにおける段落レベルの埋め込みを評価し、転移性を評価する。
• 最適な埋め込み性能のための効果的なプーリング戦略と層の組み合わせを決定する。

提案手法

• 異なるBERTエンコーダ層から埋め込みを抽出し、ロジスティック回帰ヘッドを適用してタスク性能を評価する。
• プーリング手法（CLS、SEP、mean、max）を評価し、どの手法が最良の文表現を生むかを決定する。
• 自然言語推論データ（MNLI、SNLI）でBERTを微調整して、埋め込みへの影響を検討する。
• 複数の層からの埋め込みを組み合わせ、単純なリードアウト（ロジスティック回帰、MLP）を評価して、線形分離性が十分かを検証する。
• クエリとパッセージの埋め込み間のさまざまな相互作用スキームを用いた学習案内型設定（learning-to-rank）で、4つのQAデータセットに対して段落埋め込みを評価する。

実験結果

リサーチクエスチョン

• RQ1 ベンチマークタスク全体で、BERTの活性化は普遍的な文埋め込みとしてどれだけ機能するか？
• RQ2 層の深さとプーリング戦略が、統語的・意味的・表層的な言語情報に対するBERTベースの埋め込みの品質にどう影響するか？
• RQ3 文タスクにおける埋め込み品質に対する事前学習済みBERTと微調整済みBERTの影響は何か？
• RQ4 複数の層の埋め込みを組み合わせると性能は向上するか、単純な線形リードアウトで十分か？
• RQ5 学習順序型学習でのパッセージレベルQAにおけるBERT埋め込みの性能は、BM25および完全微調整済みBERTと比較してどうか？

主な発見

タスク	PT (t)	MNLI (t)	SNLI (t)	PT (t+b)	MNLI (t+b)	SNLI (t+b)	GloVe	USE	InferSent
Semantic Similarity	82.2	89.8	97.6	90.6	94.9	98.5	76.7	99.1	95.6
Text Classification	97.1	97.2	97.7	97.1	98.0	98.0	92.8	97.5	95.3
Entailment	88.8	92.0	97.5	92.7	95.2	98.2	88.2	97.8	99.2
Surface Information	66.3	61.2	61.1	87.4	89.4	89.4	72.1	54.1	58.5
Syntactic Information	89.5	85.5	85.9	94.1	90.6	92.0	71.0	71.5	77.6
Semantic Information	97.0	96.3	95.9	97.4	96.4	96.0	84.6	88.2	90.7
Average Score	86.8	87.0	89.3	93.2	94.1	95.4	80.9	84.7	86.2

• 上位層の埋め込みは一般に下位層より優れているが、中間層は特定の意味論的プロービングタスクで卓越している。
• BERTの隠れ状態の平均プーリングは、タスクカテゴリ全体でCLS、SEP、最大プーリングを一貫して上回る。
• NLIデータでBERTを微調整すると埋め込み品質が向上し、特に意味的類似性と含意タスクで顕著。
• 上部と下部の層の埋め込みを組み合わせると文レベルの性能が最も高く、複数層を追加することやロジスティック回帰リードアウトを超えるときは限られた利得にとどまる。
• パッセージQAでは、ドメイン内微調整済みBERTが最良の結果を達成する。BERT埋め込みはファクトイドデータセットでBM25を上回るが、非ファクトイドデータセットでは劣る。複数層のプーリングと相互作用スキームは性能を高めるが、ドメイン内微調整が最も大きな利得を提供。