[論文レビュー] A Survey on Contextual Embeddings

Qi Liu, Matt J. Kusner+4 more|arXiv (Cornell University)|Mar 16, 2020

Topic Modeling参考文献 77被引用数 114

ひとこと要約

本サーベイは、文脈埋め込みの包括的な概要を提供し、言語モデリングによる事前学習、多言語適応、下流NLPタスクへの応用、モデル圧縮技術、およびこれらの表現に埋め込まれた言語的知識の分析をカバーしている。BERT、RoBERTa、ELECTRAといった最先端モデルを強調するとともに、解釈可能性、耐性、制御生成に関する主な課題を特定している。

ABSTRACT

Contextual embeddings, such as ELMo and BERT, move beyond global word representations like Word2Vec and achieve ground-breaking performance on a wide range of natural language processing tasks. Contextual embeddings assign each word a representation based on its context, thereby capturing uses of words across varied contexts and encoding knowledge that transfers across languages. In this survey, we review existing contextual embedding models, cross-lingual polyglot pre-training, the application of contextual embeddings in downstream tasks, model compression, and model analyses.

研究の動機と目的

• 文脈埋め込みモデルとそのNLPにおける進化を包括的にレビューすること。
• 文脈埋め込みのための事前学習手法（無教師および教師ありアプローチを含む）を検討すること。
• 文脈埋め込みが言語およびタスク間でどのように知識を転送するかを分析すること。
• 大規模モデルの効率的で軽量なバージョンをデプロイするためのモデル圧縮技術を評価すること。
• プローブと可視化を用いて、文脈表現に埋め込まれた言語的知識を調査すること。

提案手法

• アーキテクチャ（例：LSTM、Transformer）および事前学習目的（例：言語モデリング、マスクド言語モデリング）に基づいて文脈埋め込みモデルを分類する。
• 左から右への言語モデリングおよび双方向言語モデリングによる無教師事前学習をレビューし、ELMo、GPT、BERTなどのモデルを含む。
• マスクド言語モデリング（MLM）、次文予測（NSP）、テキスト埋め込み（text infilling）などの目的を用いた多言語事前学習を説明する。
• 大規模な教師モデルから小規模な生徒モデルに知識を転移する、DistilBERTやTinyBERTのような知識蒸留に基づく圧縮手法を詳細に説明する。
• 知識蒸留および量子化（例：Q-BERT）を用いてモデルサイズと推論コストを削減する。
• プローブ分類器および可視化技術（例：注意マップ、損失のランドスケープ）を用いて、表現に埋め込まれた言語的知識を分析する。

実験結果

リサーチクエスチョン

• RQ1 文脈埋め込みは、静的単語埋め込みと比較して、多義語や文脈依存的単語意味をどのようにより効果的に捉えているか？
• RQ2 どの事前学習目的が、NLPタスク全体にわたって最も効果的かつ転送可能な文脈表現をもたらすか？
• RQ3 事前学習モデルが文法的および意味的知識をどの程度にまでエンコードしているか、そしてその測定を信頼性高く行うにはどうすればよいか？
• RQ4 大規模な文脈埋め込みモデルを、実世界のデプロイにおいて顕著な性能低下を伴わずに圧縮するにはどうすればよいか？
• RQ5 現在の文脈埋め込みモデルにおける主な脆弱性と制限、特に耐性および制御性に関する点は何か？

主な発見

• BERT や RoBERTa などの文脈埋め込みは、テキスト分類、質疑応答、要約など、幅広いNLPタスクで最先端の性能を達成している。
• プローブ研究によると、BERTは階層的に言語構造を学習している——初期層で品詞タギングや文法解析が行われ、深層に近づくにつれて共参照関係や意味的役割が処理されている。
• DistilBERT は GLUE ベンチマークで BERT の約97％の性能を達成しながら、パラメータ数を60％も削減しており、知識蒸留の有効性を示している。
• 注意ヘッドの可視化により、BERT には高い冗長性が見られ、特定のヘッドを無効化することで、完全なモデルを上回る性能が得られることがある。
• BERT の表現は、低次元部分空間に細かく分類された語の意味をエンコードしており、高い表現能力を示している。
• 強力な性能を発揮しているものの、プローブは言語的知識が本当にエンコードされているのか、それとも高次元データそのものに起因するのかを明確に区別できないことが多い。