[論文レビュー] Adaptations of ROUGE and BLEU to Better Evaluate Machine Reading Comprehension Task

Yang An, Kai Liu+3 more|arXiv (Cornell University)|Jun 10, 2018

Topic Modeling参考文献 15被引用数 3

ひとこと要約

本稿では、yes-no質問およびエンティティリスト質問の評価を向上させるために、意見認識およびエンティティ認識のボーナス項を組み込んだ、ROUGEおよびBLEUの改訂版を提案する。これらの改訂メトリクスは、人間の判断との相関が著しく向上し、特に全体スコアにおけるROUGE-Lでは、ピアソン積率相関係数が最大0.570に達する。これは、これらの困難な質問タイプにおいて、自動評価と人間評価の整合性が向上していることを示している。

ABSTRACT

Current evaluation metrics to question answering based machine reading comprehension (MRC) systems generally focus on the lexical overlap between the candidate and reference answers, such as ROUGE and BLEU. However, bias may appear when these metrics are used for specific question types, especially questions inquiring yes-no opinions and entity lists. In this paper, we make adaptations on the metrics to better correlate n-gram overlap with the human judgment for answers to these two question types. Statistical analysis proves the effectiveness of our approach. Our adaptations may provide positive guidance for the development of real-scene MRC systems.

研究の動機と目的

• 標準的なROUGEおよびBLEUメトリクスが、特にyes-no質問およびエンティティリスト質問において、機械読解（MRC）システムの評価に限界を示す問題に対処すること。
• 語彙的一致に基づくメトリクスが、意見が逆転している場合やエンティティが欠落・誤分類されている場合に、意味的合意を捉えられない可能性があることの特定。
• yes-noの意見とエンティティの正しさに関するドメイン固有の認識を統合した、統一的で自動化された評価フレームワークの開発。
• 特に現実世界のMRCシナリオで一般的なこれらの質問タイプにおいて、自動メトリクスと人間の判断との整合性を高めること。
• 手動アノテーションを回避しながら、多様な質問タイプの評価の信頼性を向上させる、スケーラブルでエンドツーエンドのソリューションの提供。

提案手法

• 候補回答と基準回答の間の二値的意見（yes/no）の一致を評価するためのyes-no意見ボーナス項を導入。これは意見語の語彙的一致に基づく。
• エンティティの正しくリストアップされたことを評価するエンティティボーナス項を導入。特に回答内の固有表現の正確性（精度と再現率）に焦点を当てる。
• ROUGE-LおよびBLEU-4のスコア計算式に、意見およびエンティティボーナス項を統合し、n-gram一致を超えた意味的合意を反映するように最終スコアを調整する。
• 元のメトリクススコアとボーナス項の重み付き組み合わせを用い、yes-no用のハイパーパrameter α とエンティティ用の β をそれぞれ2.0および1.0に設定。
• 性能向上の統計的有意性を検証するために、ペアドブートストラップリサンプリングを適用。
• 単一質問および全体スコア評価レベルの両方で、人間がアノテートした判断を用いて、DuReaderデータセット上で改訂メトリクスを検証。

実験結果

リサーチクエスチョン

• RQ1 MRCにおけるyes-no質問およびエンティティリスト質問について、標準的なROUGEおよびBLEUメトリクスは人間の判断とどの程度相関しているか？
• RQ2 意見認識およびエンティティ認識のボーナス項を導入することで、自動メトリクスと人間評価との相関を向上させることができるか？
• RQ3 ボーナス項の重み（αおよびβ）は、改訂メトリクスの性能にどのように影響するか？
• RQ4 改訂版ROUGE-Lは、元のROUGE-Lおよび改訂版BLEU-4よりも、さまざまな質問タイプのMRCシステム評価において優れているか？
• RQ5 改訂メトリクスの改善は、元のメトリクスと比較して統計的に有意であるか？

主な発見

• 改訂版ROUGE-Lは、全体スコア評価において人間の判断とピアソン積率相関係数（PCC）0.570を達成し、元のROUGE-L（0.504）および改訂版BLEU-4（0.481）を著しく上回る。
• 全体スコア評価において、改訂版ROUGE-LはPCC 0.792を達成し、元のROUGE-L（0.760）および改訂版BLEU-4（0.646）を上回り、元のメトリクス比で4.2%の相対的改善を示す。
• 改訂版BLEU-4はエンティティ回答において顕著な改善（PCC 0.686 vs. 0.668）を示すが、yes-no質問では元のBLEU-4より性能が劣るため、BLEUの分解可能性に問題がある可能性を示唆する。
• 統計的ペアドブートストラップ検定により、すべての質問タイプ（yes-no、エンティティ、全体）において、改訂メトリクスが元のメトリクスを著しく上回ることが確認され、6回のテストすべてでp < 0.05であった。
• ボーナス重みの影響は単調的である：α（yes-noボーナス）およびβ（エンティティボーナス）を増加させると、それぞれの質問タイプにおいてPCCが一貫して向上する。これは、調整可能でスケーラブルな設計であることを示唆する。
• 結果から、標準メトリクスに意味的認識のボーナス項を統合することで、特に事実型でない、現実世界のMRC質問において人間の判断をよりよく反映する能力が向上することが示された。