[論文レビュー] GLGE: A New General Language Generation Evaluation Benchmark

Dayiheng Liu, Yu Yan+16 more|arXiv (Cornell University)|Nov 24, 2020

Topic Modeling参考文献 43被引用数 9

ひとこと要約

本稿では、自然言語生成（NLG）モデルの汎化性能を評価するための包括的で多タスクのベンチマークであるGLGEを紹介する。GLGEは、3つの難易度（Easy、Medium、Hard）で構成される8つのNLGタスクにわたり24のサブタスクを含む。BART や ProphetNet などの最先端の事前学習モデルを評価した結果、難易度の高いタスクで顕著な性能差が確認された。また、オープンソースのデータセット、標準化された評価指標、パブリックリーダーボードを提供することで、NLG分野の研究を促進する。

ABSTRACT

Multi-task benchmarks such as GLUE and SuperGLUE have driven great progress of pretraining and transfer learning in Natural Language Processing (NLP). These benchmarks mostly focus on a range of Natural Language Understanding (NLU) tasks, without considering the Natural Language Generation (NLG) models. In this paper, we present the General Language Generation Evaluation (GLGE), a new multi-task benchmark for evaluating the generalization capabilities of NLG models across eight language generation tasks. For each task, we continue to design three subtasks in terms of task difficulty (GLGE-Easy, GLGE-Medium, and GLGE-Hard). This introduces 24 subtasks to comprehensively compare model performance. To encourage research on pretraining and transfer learning on NLG models, we make GLGE publicly available and build a leaderboard with strong baselines including MASS, BART, and ProphetNet (The source code and dataset are publicly available at https://github.com/microsoft/glge).

研究の動機と目的

• 自然言語生成（NLG）モデルにおける汎化性能を評価する包括的で標準化されたベンチマークの不足を解消すること。
• 入力／出力長、テキストタイプ、データセットサイズの多様性をカバーする多タスクベンチマークを設計すること。
• 各タスクに3段階の難易度（Easy、Medium、Hard）を導入し、モデルの能力を細かく評価可能にする。
• 標準化された評価指標と自動スクリプトを提供し、一貫したモデル比較を可能にする。
• オープンデータセットの公開とパブリックリーダーボードの維持を通じて、NLGの事前学習およびトランスファーラーニング分野の研究を促進すること。

提案手法

• ベンチマークには、テキスト要約、質問生成、生成型QA、対話応答生成など、タスクの多様性と評価可能性を考慮して選択された8つのコアNLGタスクが含まれる。
• 8つのタスクの各々について、入力の複雑さと出力制約を段階的に高めた3つのサブタスク（GLGE-Easy、GLGE-Medium、GLGE-Hard）を設定し、難易度を段階的に向上させる。
• 6つの既存データセットを再利用し、実世界の応用から得た2つの新規データセットを導入することで、実用的関連性と多様性を向上させる。
• すべてのタスクにわたって一貫した評価を実現するため、標準化された自動評価指標（例：BLEU、ROUGE）を統一的に適用する。
• 比較評価のためのベースラインとして、非事前学習モデル（例：vanilla LSTM、Transformer）と最先端の事前学習モデル（例：MASS、BART、ProphetNet）を含む。
• パブリックリーダーボードを維持し、ベンチマーク全体を通じてモデル性能の向上を追跡・促進する。

実験結果

リサーチクエスチョン

• RQ1 BART や ProphetNet などの事前学習NLGモデルは、非事前学習モデルと比較して、多様な汎化可能なNLGタスクにおいてどのように性能を発揮するか？
• RQ2 GLGE-Hard における難易度の高いサブタスクでは、GLGE-Easy と比較してモデル性能がどの程度低下するか？
• RQ3 多様なNLG生成タスクにおいて、標準的な自動評価指標は人間の判断とどの程度相関するか？
• RQ4 提案されたベンチマークは、能力や事前学習範囲に差があるモデルを効果的に区別できるか？
• RQ5 現在の事前学習NLGモデルが、複雑で高難易度の生成タスクを処理するにあたり、主な限界は何か？

主な発見

• BART や ProphetNet などの事前学習NLGモデルは、GLGEのすべてのサブタスクで非事前学習モデル（例：vanilla LSTM や Transformer）を顕著に上回る性能を示した。
• 簡単なタスクでは強力な性能を発揮しているものの、最も困難なGLGE-Hardサブタスクでは依然として大きな改善余地が確認された。
• n-gramの多様性分析から、トップモデルですら出力の多様性に欠けることが判明し、NLGにおけるより良い多様性制御の必要性が示された。
• 要約生成や回答に依存する質問生成のような複雑なタスクにおいて、モデル間の性能差が最も顕著に現れた。
• ベンチマークは、長文の文脈入力、レアエンティティ、複雑な推論を伴う生成処理におけるモデルの弱みを効果的に特定した。
• パブリックリーダーボードと標準化された評価フレームワークは、すでにコミュニティ全体でのモデル比較と進捗追跡を可能にしている。