[論文レビュー] Dissecting Contextual Word Embeddings: Architecture and Representation

Matthew E. Peters, Mark E Neumann+2 more|arXiv (Cornell University)|Aug 27, 2018

Topic Modeling参考文献 47被引用数 6

ひとこと要約

この論文は、双方向言語モデル（biLM）における文脈的単語表現に、LSTM、CNN、自己注意（Transformer）といった異なるニューラルアーキテクチャがどのように影響するかを調査している。すべてのアーキテクチャが、下位層で語彙素性や文法を捉え、上位層で核心的照応のような長距離意味的依存関係をエンコードする高品質で階層的な言語表現を学習することを明らかにしたが、速度と精度のトレードオフが伴うことがわかった。

ABSTRACT

Contextual word representations derived from pre-trained bidirectional language models (biLMs) have recently been shown to provide significant improvements to the state of the art for a wide range of NLP tasks. However, many questions remain as to how and why these models are so effective. In this paper, we present a detailed empirical study of how the choice of neural architecture (e.g. LSTM, CNN, or self attention) influences both end task accuracy and qualitative properties of the representations that are learned. We show there is a tradeoff between speed and accuracy, but all architectures learn high quality contextual representations that outperform word embeddings for four challenging NLP tasks. Additionally, all architectures learn representations that vary with network depth, from exclusively morphological based at the word embedding layer through local syntax based in the lower contextual layers to longer range semantics such coreference at the upper layers. Together, these results suggest that unsupervised biLMs, independent of architecture, are learning much more about the structure of language than previously appreciated.

研究の動機と目的

• ニューラルアーキテクチャの選択（LSTM、CNN、自己注意）が、biLMにおける文脈的単語表現の質とインダクティブバイアスにどのように影響するかを理解すること。
• 計算効率の良いアーキテクチャ（例：CNNやTransformer）が、LSTMに匹敵またはそれを上回る文脈表現の学習性能を達成できるかどうかを調査すること。
• 異なるbiLMアーキテクチャにおけるネットワーク層の間で、言語情報がどのように階層的に組織されているかを分析すること。
• biLMの表現が下流の自然言語処理タスクへの転送性にどの程度寄与するかを評価すること、特に文法的および意味的プローブを含む。
• アーキテクチャに依存せずに、biLMが従来認識されていなかったより多くの言語的構造（例：文法、意味）を学習しているかどうかを特定すること。

提案手法

• LSTM、CNN、Transformer（自己注意）という3つの異なるアーキテクチャを用いて、大規模なテキストコーパスを用いて双方向言語モデル（biLM）を事前学習する。
• 稀な語の一般化を向上させ、語彙素性を捉えるために、入力トークンに文字に依存するエンコーディングを適用する。
• 下流のプローブタスクのために、各biLMアーキテクチャの各層における内部層活性化（文脈ベクトル）を抽出・分析する。
• 線形分類器を用いた内在的プローブを実施し、特定の言語的特徴（例：語彙素性、文法、核心的照応）が特定の層にエンコードされているかどうかを評価する。
• biLM表現を4つのベンチマーク自然言語処理タスク（名前付きエンティティ認識（NER）、マルチホップ自然言語推論（MultiNLI）、依存解析、構成解析）に転用する。
• 層ごとの線形プローブを用いて、下流タスク性能に最も寄与する層を特定し、各層の機能的特化度を評価する。

実験結果

リサーチクエスチョン

• RQ1 biLMに用いられる異なるニューラルアーキテクチャ（LSTM、CNN、Transformer）は、最終タスクの精度と推論速度の観点でどのように比較されるか？
• RQ2 RNNでないアーキテクチャ（例：CNNやTransformer）は、LSTMと同等またはそれ以上の高品質な文脈表現を学習できるか？
• RQ3 biLMの層の間で言語情報が階層的に組織されているか？もしそうであれば、アーキテクチャによってその様式はどのように変化するか？
• RQ4 biLMのどの層が下流の自然言語処理タスクへの転送性が最も高く、どのような言語的特徴をエンコードしているか？
• RQ5 アーキテクチャに依存せずに、biLMが従来の認識を超えてより多くの言語的構造（例：文法、意味）を学習しているとされる程度はどの程度か？

主な発見

• LSTM、CNN、Transformerという3つのアーキテクチャすべてが、4つのベンチマーク自然言語処理タスクにおいて従来の単語埋め込みよりも顕著な向上を示し、速度と精度の間のわずかなトレードオフに留まった。
• すべてのbiLMにおける単語埋め込み層は、語彙素性にのみ焦点を当てており、意味的コンテンツは一切持たない。
• 下位の文脈表現層（例：最初の数層）は、品詞や依存関係といった局所的な文法的特徴をエンコードしている。
• 上位層は、文内での代名詞照応や意味的役割ラベル付けといった長距離意味的依存関係を捉えている。
• 下流タスクへの最も転送性の高い表現は、通常、最上位層ではなく中位層に見られる。最上位層は言語モデリングに特化している。
• biLMの活性化は、構成解析のような句構造解析タスクに有用なフレーズレベルの表現を効果的に形成できる。