[論文レビュー] Towards a Better Metric for Evaluating Question Generation Systems

Preksha Nema, Mitesh M. Khapra|arXiv (Cornell University)|Aug 30, 2018

Topic Modeling参考文献 31被引用数 6

ひとこと要約

本論文は、n-gram類似度に加えて、関連する質問の要素（Wh-語、エンティティ、関係など）に注目した回答可能性を統合することで、自動質問生成（AQG）システムの評価を向上させる修正されたメトリクス、Q-BLEUを提案する。この手法は、人間の判断に基づいて調整された学習可能な重みを使用しており、標準的なメトリクス（BLEU、METEOR、NISTなど）よりも人間の評価と著しく高い相関を示す。

ABSTRACT

There has always been criticism for using $n$-gram based similarity metrics, such as BLEU, NIST, etc, for evaluating the performance of NLG systems. However, these metrics continue to remain popular and are recently being used for evaluating the performance of systems which automatically generate questions from documents, knowledge graphs, images, etc. Given the rising interest in such automatic question generation (AQG) systems, it is important to objectively examine whether these metrics are suitable for this task. In particular, it is important to verify whether such metrics used for evaluating AQG systems focus on answerability of the generated question by preferring questions which contain all relevant information such as question type (Wh-types), entities, relations, etc. In this work, we show that current automatic evaluation metrics based on $n$-gram similarity do not always correlate well with human judgments about answerability of a question. To alleviate this problem and as a first step towards better evaluation metrics for AQG, we introduce a scoring function to capture answerability and show that when this scoring function is integrated with existing metrics, they correlate significantly better with human judgments. The scripts and data developed as a part of this work are made publicly available at https://github.com/PrekshaNema25/Answerability-Metric

研究の動機と目的

• 自動質問生成（AQG）システムの評価に適した従来のn-gramベースのメトリクス（例：BLEU、METEOR、NIST）の妥当性を検証すること。
• 現在のメトリクスが、質問に十分な情報が含まれており、回答可能かどうかを適切に反映しているかどうかを調査すること。
• 回答可能性を学習可能なコンponentとして統合することで、人間の判断との整合性を高める修正メトリクスを開発すること。
• 内在的相関分析と外在的評価（下流のQAモデルの性能を用いた）を通じて、提案されたメトリクスの妥当性を検証すること。
• 再現可能性とAQG評価分野におけるさらなる研究を支援するため、人間がアノテートしたデータとコードを公開すること。

提案手法

• SQuAD、WikiMovies、VQAデータセットからのリファレンス質問に対して、系統的なノイズ（例：Wh-語、ストップワード、固有表現の削除）を導入し、質問の回答可能性に関する人間の判断を集める。
• n-gram類似度（例：BLEU）と、Wh-語、エンティティ、関係などの重要な質問コンponentsの有無に基づく学習可能な回答可能性スコアを組み合わせたQ-Metricを定義する。
• 人間がアノテートした回答可能性スコアをラベルとして用い、異なる質問コンponentsの重みを学習するためのロジスティック回帰モデルを訓練する。
• 学習された回答可能性コンponentを標準メトリクスに統合し、Q-BLEUを構築する。これにより、関連性の高い語に応じてn-gram一致の寄与度が調整される。
• 外在的評価として、ノイズを含む訓練データでQAモデルを学習し、BLEUとQ-BLEUによるノイズの質の評価と、テスト性能を測定する。
• SQuAD、WikiMovies、VQAの3つのデータセットで同じノイズパターンを用いることで、異なるAQGソース間での一貫性ある評価を確保する。

実験結果

リサーチクエスチョン

• RQ1 標準的なn-gramベースのメトリクス（例：BLEU、METEOR、NIST）は、自動質問生成における人間の回答可能性評価と適切に相関しているか？
• RQ2 Wh-語、固有表現、関係などの重要な情報コンponentsの有無が、生成された質問の回答可能性にどの程度影響を及えるか？
• RQ3 回答可能性を捉える学習可能なコンponentを、既存のメトリクスに効果的に統合できるか？
• RQ4 修正されたメトリクス（Q-BLEU）を用いた訓練データのフィルタリングにより、下流のQAモデル性能が向上するか？
• RQ5 ストップワードの削除とWh-語の削除などの異なる種類のノイズが、標準メトリクスと人間の判断の両方において質問の質の認識にどのように影響するか？

主な発見

• 標準的なn-gramメトリクス（例：BLEU）は、SQuAD、WikiMovies、VQAのすべてのケースで人間の回答可能性評価と弱い相関を示しており、相関係数は0.5未満である。
• 学習可能な回答可能性重みを統合した本研究で提案するQ-BLEUメトリクスは、標準メトリクスよりも人間の判断と著しく高い相関を達成しており、特にドキュメントおよびビジュアルQAで性能が顕著に向上している。
• 外在的評価では、Q-BLEUでフィルタリングされたデータで学習したモデルが、BLEUでフィルタリングされたデータで学習したモデルよりも優れた下流性能を示しており、Q-BLEUが有用な訓練例をよりよく特定できていることを示している。
• ストップワードの削除は、BLEUスコアに著しく高い影響を与えるが、回答可能性や下流のQA性能にはほとんど影響を与えないため、標準メトリクスの根本的な欠陥を示している。
• 人間の判断に基づいて回答可能性を予測するモデルは、Wh-語、エンティティなどの質問コンponentsが回答可能性に最も寄与していることを高精度で特定できた。
• Q-BLEUメトリクスは、テストセットにおけるモデル性能を予測する点でBLEU4を上回っており、高いQ-BLEUスコアは一般化性能が良いと一貫して関連しており、特にSQuADおよびVQAデータセットで顕著である。