[論文レビュー] Stress Test Evaluation for Natural Language Inference

Aakanksha Naik, Abhilasha Ravichander+3 more|arXiv (Cornell University)|Jun 2, 2018

Topic Modeling被引用数 41

ひとこと要約

この論文は、自然言語推論（NLI）に対して自動のストレステストベース評価を導入し、言語現象を横断してモデルの弱点を診断し、標準ベンチマークが強くても focused tests において最新の文脈エンコーダーモデルが体系的な失敗を示すことを明らかにします。

ABSTRACT

Natural language inference (NLI) is the task of determining if a natural language hypothesis can be inferred from a given premise in a justifiable manner. NLI was proposed as a benchmark task for natural language understanding. Existing models perform well at standard datasets for NLI, achieving impressive results across different genres of text. However, the extent to which these models understand the semantic content of sentences is unclear. In this work, we propose an evaluation methodology consisting of automatically constructed "stress tests" that allow us to examine whether systems have the ability to make real inferential decisions. Our evaluation of six sentence-encoder models on these stress tests reveals strengths and weaknesses of these models with respect to challenging linguistic phenomena, and suggests important directions for future work in this area.

研究の動機と目的

• NLIモデルを標準ベンチマークを超えた堅牢な評価で動機づけ、真の言語理解を評価する。
• 現在のNLIモデルが苦手とする言語現象を、標的となるストレステストでのエラーを分析して特定する。
• 特定のNLI能力を評価する大規模なストレステストデータセットを自動構築する方法を提供する。
• 真の自然言語理解を促進するモデル開発を促すため、ストレステスト資源を公開する。

提案手法

• MultiNLIの強力なベースラインNLIモデルから挑戦的な言語現象の類型を構築する。
• 特定の現象（能力、分散、ノイズ）を対象とした大規模なストレステストデータセットを自動生成する。
• 六つの文エンコーダーモデルをストレステストでベンチマークし、現象別の性能を分析する。
• 能力テストには知識源を用いたヒューリスティックルールを、分散テストには命題論理系を、ノイズテストにはランダムな摂動を使用する。
• 敵対的サンプルのサンプルに対して文法性とラベル正確性を評価するための人間による検証を行う。
• すべてのストレステストとリソースをコミュニティで利用可能に公開する。

実験結果

リサーチクエスチョン

• RQ1 現在のNLIモデルの標準ベンチマーク正確度を超えて、どのような言語現象が弱点を露呈させるのか？
• RQ2 NLIモデルの能力、分散、ノイズ要因を調べる大規模なストレステストを自動生成できるか？
• RQ3 これらのストレステストで最先端の文エンコーダーモデルはどういう成績で、どこで失敗するのか？
• RQ4 ストレステストの知見は、より堅牢なNLIモデルと評価実践の方向性を示唆するか？

主な発見

• 評価対象のすべてのモデルは、標準のMultiNLI開発データと比較してストレステストで性能が低下する。
• 能力テスト（例：反義語、数値推論）は、モデル全体にわたって重大な弱点を明らかにし、RCやCHは特定の能力テストで優れた強みを示すことがある。
• 分散テストは、語彙的な手掛かりに頼る傾向をモデルが示し、語彙的類似性が低下すると顕著な性能低下を引き起こすことを示す。
• ノイズテストは頑健性の差を示し、部分語彙モデリングと平均プーリングの恩恵を受けるモデルは比較的安定である一方、他のモデルは大幅に劣化する。
• 分散データでの訓練は、訓練された分散タイプに対する頑健性を一部のモデルに付与するのに役立つが、新しいディストラクタに対しては一般化しない可能性がある。
• 結果は、高いベンチマーク正確度が真の自然言語理解を保証するものではなく、ストレステストに基づく評価の必要性を強調する。