[論文レビュー] Automatic Construction of Evaluation Suites for Natural Language Generation Datasets

Simon Mille, Kaustubh Dhole+6 more|arXiv (Cornell University)|Jun 16, 2021

Topic Modeling参考文献 59被引用数 12

ひとこと要約

本稿では、自然言語生成（NLG）モデルの評価を標準的なi.i.d.テストセットを超えて行うために、多様で言語学的根拠に基づいたチャレンジセットを自動生成するフレームワーク、NL-Augmenterを提案する。GEMベンチマークに対して制御された摂動とサブセット選択を適用することで、モデルの脆さを露呈させ、レアな入力変更や体系的な入力変更における性能低下を明らかにし、異なるアーキテクチャやデータ分布におけるモデル行動のより深い分析を可能にする80のチャレンジセットを生成した。

ABSTRACT

Machine learning approaches applied to NLP are often evaluated by summarizing their performance in a single number, for example accuracy. Since most test sets are constructed as an i.i.d. sample from the overall data, this approach overly simplifies the complexity of language and encourages overfitting to the head of the data distribution. As such, rare language phenomena or text about underrepresented groups are not equally included in the evaluation. To encourage more in-depth model analyses, researchers have proposed the use of multiple test sets, also called challenge sets, that assess specific capabilities of a model. In this paper, we develop a framework based on this idea which is able to generate controlled perturbations and identify subsets in text-to-scalar, text-to-text, or data-to-text settings. By applying this framework to the GEM generation benchmark, we propose an evaluation suite made of 80 challenge sets, demonstrate the kinds of analyses that it enables and shed light onto the limits of current generation models.

研究の動機と目的

• NLGベンチマークにおける単一のi.i.d.テストセットの限界を是正すること。これにより、モデルの一般化能力が過大評価され、欠陥が隠蔽されることがある。
• テキストtoテキスト、テキストtoスカラ、データtoテキスト生成タスクに特化した、多様でタスク固有のチャレンジセットを生成するスケーラブルでプログラマブルなフレームワークの開発。
• 希少現象、体系的な入力摂動、分布シフトに対する性能低下を特定することで、モデル行動の詳細な分析を可能にすること。
• 言語的能力や保護属性に関連するサブポピュレーションおよび摂動を用いることで、公平性と堅牢性評価の向上。
• データセット作成者や研究者に再利用可能で拡張可能な評価スイートを提供し、比較可能性と透明性の向上を支援すること。

提案手法

• 意味的意図を保持しつつ、入力例を体系的に変更する言語学的根拠に基づいた摂動（例：エンティティ置換、否定、入力再順序化）を活用する。
• 希少エンティティ、代表されないトピック、分布外の例を含む、関心のあるサブセットを既存データセットから特定および抽出する。
• BLEU、ROUGE、BERTScore、BLEURTなどの既存の評価指標と統合し、摂動を加えた入力に対するモデル出力の評価を実施する。
• NL-Augmenterフレームワークを用いてチャレンジセットの自動生成を実現し、新たなNLGタスクやデータセットに対しても拡張性を確保する。
• 摂動下でも一貫性やキャリブレーションの問題を検出できるように、複数の評価指標を用いる。
• GEMベンチマーク上に12の評価スイートにまたがる80のチャレンジセットをリリースし、すべてのサブポピュレーションおよび摂動を詳細に記録したデータカードを提供する。

実験結果

リサーチクエスチョン

• RQ1 現在のNLGモデルは、標準的なテストセットと比較して、体系的な摂動を加えた入力に対してどの程度の性能を示すか？
• RQ2 どのような言語的および分布的シフトが、テキストtoテキストおよびテキストtoスカラ生成におけるモデルの脆さを露呈するか？
• RQ3 標準的な評価指標は、入力摂動下でも信頼性があり、キャリブレーションされていると言えるか？
• RQ4 モデルサイズや事前学習データの分布は、さまざまなチャレンジセットにおける堅牢性にどの程度影響を及えるか？
• RQ5 否定や共参照などの言語的能力に基づいて設計されたチャレンジセットは、標準評価では見えないモデルの短絡的行動を明らかにできるか？

主な発見

• 標準的なi.i.d.テストセットでは、分布外またはレアトピックの入力に対してモデルの堅牢性が著しく過大評価されていることが判明した。
• 入力順序をシャッフルする摂動に対して、モデルが顕著な性能低下を示しており、入力構造に過度に依存していることが示された。
• 入力再順序化の下では出力語彙サイズが増加し、局所的リCALLが低下しており、モデルが入力特徴よりも自己回帰的デコードに依存していることが示唆された。
• BLEURTはデータセット間で高いばらつきを示し、他の指標としばしば食い違う傾向にあり、適用された特定の摂動に敏感である可能性がある。
• BLEU や ROUGE などの語彙的指標は、BERTScore や BLEURT と比較して、摂動下でもより一貫性があり、キャリブレーションされた変化を示した。
• 本フレームワークは、微小な編集に対する脆弱性や希少エンティティでの失敗といった、標準評価では見えないモデル行動を効果的に露呈した。