[論文レビュー] Alternative Weighting Schemes for ELMo Embeddings

Nils Reimers, Iryna Gurevych|arXiv (Cornell University)|Apr 5, 2019

Electromagnetic Simulation and Numerical Methods参考文献 3被引用数 21

ひとこと要約

この論文は、ELMo埋め込みの代替重み付け方式を評価し、3つのbiLM層のうち最初の2つの層の学習済み重み付き平均を用いる手法が、複数の自然言語処理（NLP）タスクにおいてPetersらの元々の学習済み重み付き平均を上回ることを発見した。提案手法は8つのデータセットのうち7つで性能を向上させ、学習時間を19–44%短縮し、最も抽象度の高い第3層による性能低下を回避する。

ABSTRACT

ELMo embeddings (Peters et. al, 2018) had a huge impact on the NLP community and may recent publications use these embeddings to boost the performance for downstream NLP tasks. However, integration of ELMo embeddings in existent NLP architectures is not straightforward. In contrast to traditional word embeddings, like GloVe or word2vec embeddings, the bi-directional language model of ELMo produces three 1024 dimensional vectors per token in a sentence. Peters et al. proposed to learn a task-specific weighting of these three vectors for downstream tasks. However, this proposed weighting scheme is not feasible for certain tasks, and, as we will show, it does not necessarily yield optimal performance. We evaluate different methods that combine the three vectors from the language model in order to achieve the best possible performance in downstream NLP tasks. We notice that the third layer of the published language model often decreases the performance. By learning a weighted average of only the first two layers, we are able to improve the performance for many datasets. Due to the reduced complexity of the language model, we have a training speed-up of 19-44% for the downstream task.

研究の動機と目的

• ELMoの3つのbiLM層の元々の学習済み重み付き平均が、下流のNLPタスクにおいて最適であるかどうかを調査すること。
• 個々の層、連結、固定平均、および学習済み平均の変種を含む、ELMo埋め込みの代替重み付け方式を評価すること。
• biLMの第3層（最後の層）が一貫して性能に寄与するのか、それとも場合によっては性能を低下させるのかを特定すること。
• 元々のELMo統合手法の代替として、より高速で効果的であり、性能を維持または向上させる手法を開発すること。
• GloVeなどの他の埋め込みと組み合わせる場合と、ELMo単体で使用する場合における重み付け方式の影響を評価すること。

提案手法

• 著者は5つの重み付け方式を評価した：最初、第二、または第三のbiLM層のみを使用すること；3つの層を連結すること；3つの層の固定平均を計算すること；3つの層の全層に対してタスク固有の重み付き平均を学習すること。
• 著者は、第3層を除き、最初の2つのbiLM層のタスク固有の重み付き平均を学習するという、新しい方式を導入し、評価した。
• この方法は、最初の2つの層出力の重み付き平均を計算するために、可学習なソフトマックス正規化された重みベクトル s ∈ ℝ³ を使用し、スケーリングに可学習なスカラー γ を用いる。
• 提案手法は、ELMoを唯一の入力として使用するBiLSTM-CRFモデルおよび、ELMoとGloVe埋め込みを組み合わせたAllenNLPモデルの両方でテストされた。
• 特に第3層を除外した場合の計算効率を評価するために、学習および推論速度が測定された。
• 実験は8つのベンチマークNLPデータセットを用いて実施された：CoNLL-2003 NER、SNLI、SQuAD、SICK、SST-5、CoNLL-2005構文解析、CoNLL-2003構文解析、GENIA。

実験結果

リサーチクエスチョン

• RQ1 3つのELMo層の元々の学習済み重み付き平均が、多様なNLPタスクで最良の性能を発揮するのか？
• RQ2 ELMoのbiLMの第3層（最後の層）は一貫して有益なのか、それとも場合によっては性能を低下させるのか？
• RQ3 最初の2つの層の学習済み平均のような、より単純な重み付け方式が、元々の方法を上回る性能を達成できるのか？
• RQ4 第3のbiLM層を除外した場合、モデルの性能と学習速度にどのような影響があるのか？
• RQ5 ELMoが唯一の入力表現として使用される場合と、他の埋め込みと組み合わせて使用される場合における重み付け方式の重要性はどの程度か？

主な発見

• 第2層の使用が、8つのデータセットのうち7つで第3層を上回り、最も抽象度の高い表現が常に最適ではないことを示唆している。
• 最初の2つの層の学習済み重み付き平均が、元々の方法を8つのデータセットのうち7つで上回り、いくつかのタスクで統計的に有意な改善を達成した。
• 提案手法は、モデル全体で学習時間を19–44%短縮した。特にSNLIモデルで最大の高速化（44%）が観察され、構文解析モデルで最小の高速化（19%）が観察された。
• ELMoを唯一の入力として使用するモデルでは、重み付け方式の影響が顕著であったが、GloVe埋め込みと組み合わせた場合、各方式間の性能差は小さくなり、多くの場合で統計的に有意ではなかった。
• biLMの第3層は多くの場合に有害であり、その除外により性能が向上した。これは、元々の学習済み重み付け方式が、有害な層を含むすべての3つの層を使用するよう強制しているためと考えられる。
• 固定平均と3つの層の学習済み重み付き平均の間で性能差はほとんどなく、単純な平均化が学習された複雑な重みよりもほぼ同等に効果的であることを示唆している。