[論文レビュー] GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding

Alex Wang, Amanpreet Singh+4 more|arXiv (Cornell University)|Apr 20, 2018

Topic Modeling参考文献 59被引用数 553

ひとこと要約

GLUEは9タスクの自然言語理解（NLU）ベンチマークとオンライン評価プラットフォームを診断テストスイートとともに導入する；注意機構とELMo転写を用いたマルチタスク学習は単一タスクよりも良い結果をもたらすが、全体の性能は人間レベルにはまだ遠い。

ABSTRACT

For natural language understanding (NLU) technology to be maximally useful, both practically and as a scientific object of study, it must be general: it must be able to process language in a way that is not exclusively tailored to any one specific task or dataset. In pursuit of this objective, we introduce the General Language Understanding Evaluation benchmark (GLUE), a tool for evaluating and analyzing the performance of models across a diverse range of existing NLU tasks. GLUE is model-agnostic, but it incentivizes sharing knowledge across tasks because certain tasks have very limited training data. We further provide a hand-crafted diagnostic test suite that enables detailed linguistic analysis of NLU models. We evaluate baselines based on current methods for multi-task and transfer learning and find that they do not immediately give substantial improvements over the aggregate performance of training a separate model per task, indicating room for improvement in developing general and robust NLU systems.

研究の動機と目的

• 多様なタスクやドメインに跨って知識を転送できる一般的でタスクに依存しない NLUモデルの開発を促進する。
• 既存データセットから構築された nine English NLUタスクの多様で挑戦的なスイートを提供する。
• タスク間の公正な、モデルに依存しない評価と比較のオンラインプラットフォームを提供する。
• 言語能力と失敗モードを分析する診断テストスイートをベンチマークに追加する。

提案手法

• 感情分析、含意、言い換え、類似度を含む、9つの単一文または文ペアのNLUタスクを組み立てる。
• 単一文または文ペアの入力を処理する任意の手法を受け付ける、モデルに依存しない評価フレームワークを採用する。
• 語彙的信号、推論、世界知識などの現象を探る診断分析データセットを組み込む。
• 単純な文エンコーダ、マルチタスクモデル、事前学習表現（ELMo、CoVe）などのベースラインを評価する。
• 全体のランキングにはタスク間マクロ平均スコアを用い、タスク別スコアとタスクごとの指標を併用する。
• 公正な競合を保証するオンラインリーダーボードとプライベートテストデータを提供する。

実験結果

リサーチクエスチョン

• RQ1 複数のNLUタスクで共同に学習した単一モデルは、多様なベンチマークでタスクごとに学習したモデルを上回ることができるか？
• RQ2 最新の事前学習・転移技術（例：ELMo、CoVe、注意機構）はGLUEタスク全体の性能にどのように影響するか？
• RQ3 診断データセットによって明らかになる、現行モデルが示す言語・推論能力と、欠如している能力は何か？
• RQ4 タスク固有表現と共有表現が一般的なNLU性能にどの程度寄与しているか？
• RQ5 GLUEが明らかにすることができる、汎用的NLUの残るギャップは何か？

主な発見

• マルチタスク学習は、通常、別個のタスク固有モデルを学習させるよりも総合的な性能を向上させる。
• 注意機構は一部の設定で利得をもたらすが、特にマルチタスク学習内で顕著だが、普遍的ではない。
• ELMo埋め込みは、純粋なGloVe/CoVeベースラインより性能を向上させ、特に単一文タスクで効果的。
• 事前学習済み文表現（GenSen、InferSent、DisSent）は競争力のある結果を提供するが、GLUEではしばしばタスク固有またはマルチタスクモデルに遅れを取る。
• いくつかのタスク（例：CoLA、WNLI、RTE）では、モデルは依然として単純なベースラインや人間の性能を下回っており、大幅な改善の余地を示している。
• 診断データセットは、推論ロジックと世界知識推論の弱点を明らかにしており、今後のモデル改善の方向性を示唆している。