[論文レビュー] Inherent Biases in Reference based Evaluation for Grammatical Error Correction and Text Simplification

Leshem Choshen, Omri Abend|arXiv (Cornell University)|Apr 30, 2018

Text Readability and Simplification参考文献 35被引用数 10

ひとこと要約

本稿は、文法的誤り訂正（GEC）およびテキスト簡略化におけるリファレンスベース評価が、有効な訂正の長尾分布に起因する根本的な低カバレッジバイアス（LCB）を内蔵していることを示している。このバイアスにより、システムは最小限で局所的な訂正を促されるが、包括的な訂正は促されない。リファレンス数の増加やスコアの再重み付けを試みても、LCBは実用的に克服できない。これにより、M2、GLEU、SARIといった標準的メトリクスの信頼性が損なわれており、訂正不足を系統的に懲罰しないため、システム開発を誤導する。

ABSTRACT

The prevalent use of too few references for evaluating text-to-text generation is known to bias estimates of their quality ({\it low coverage bias} or LCB). This paper shows that overcoming LCB in Grammatical Error Correction (GEC) evaluation cannot be attained by re-scaling or by increasing the number of references in any feasible range, contrary to previous suggestions. This is due to the long-tailed distribution of valid corrections for a sentence. Concretely, we show that LCB incentivizes GEC systems to avoid correcting even when they can generate a valid correction. Consequently, existing systems obtain comparable or superior performance compared to humans, by making few but targeted changes to the input. Similar effects on Text Simplification further support our claims.

研究の動機と目的

• リファレンスセットの制限がGECおよびテキスト簡略化におけるリファレンスベース評価の信頼性に与える影響を調査すること。
• 低カバレッジバイアス（LCB）がシステムのパフォーマンスランクを歪め、モデル開発を誤導する仕組みを分析すること。
• 再重み付けやリファレンス数の増加が、実際のLCB緩和に有効であるかどうかを評価すること。
• 有効な訂正の分布を評価するための手法的ツールおよび評価指標自体を評価するためのツールを提案すること。

提案手法

• 著者らは、NUCLEテストセットを対象にブートストラップを用い、人間がアノテートしたリファレンスセットを根拠として、文ごとの有効訂正の真の分布を推定した。
• 推定された訂正分布Dxからサンプリングすることで、さまざまなリファレンスセット下での「完璧な」システム出力をシミュレートした。
• 異なるリファレンス数（M）における標準的メトリクス（M2、GLEU、SARI、Accuracy）を比較し、カバレッジとバイアスを測定した。
• マルチリファレンススコアリングの直感的でない影響を回避するため、最大単一リファレンススコアを取るMAX-SARIというSARIの変種を導入した。
• Mosesおよびニューラルモデルのk-bestリストに対して再ランク付け実験を実施し、Mの増加が予測不足をどの程度軽減するかを評価した。
• GECおよびテキスト簡略化の両方で妥当な簡略化が長尾分布を示すことを確認し、バイアスパターンが類似していることを示した。

実験結果

リサーチクエスチョン

• RQ1 低カバレッジリファレンス評価が、GECシステムのパフォーマンスランクをどの程度歪めるか？
• RQ2 リファレンス数（M）の増加や再重み付けによって、GEC評価における低カバレッジバイアスを効果的に克服できるか？
• RQ3 有効訂正の長尾分布が、M2 や GLEU といった標準的メトリクスの信頼性にどのように影響するか？
• RQ4 なぜ既存のGECシステムは、人間が行う訂正数の数分の1程度しか訂正を行わないにもかかわらず、標準的メトリクスでは人間を上回るのか？
• RQ5 SARIのマルチリファレンススコアリング機構が、テキスト簡略化評価におけるカバレッジと信頼性をどの程度歪めるか？

主な発見

• NUCLEテストセットの平均文には1,000件を超える有効訂正が存在し、少数の訂正が顕著に高い頻度を示す長尾分布を示している。
• 8件のリファレンスでさえ、SARIなどの標準的メトリクスが真の訂正空間の約45％しかカバーしない。このカバレッジはMにほとんど依存しない。
• 既存のGECシステムは著しく訂正不足であり、人間の約10分の1の訂正数にとどまっているが、M2やGLEUでは人間を上回っている。
• リファレンス数の増加により訂正不足は緩和されるが、収束効果が顕著で、LCBの完全な解消は現実的ではない。
• SARIのマルチリファレンススコアリングは直感的ではなく、同一の出力をリファレンスに近いと懲罰する傾向がある。MAX-SARIはより高いカバレッジと一貫性を示した。
• 同様のバイアスはテキスト簡略化に対しても拡大しており、有効な簡略化も長尾分布を示し、標準的メトリクスは性能予測を著しく低く見積もっている。