[論文レビュー] BLEU is Not Suitable for the Evaluation of Text Simplification

Elior Sulem, Omri Abend+1 more|arXiv (Cornell University)|Oct 14, 2018

Text Readability and Simplification参考文献 21被引用数 4

ひとこと要約

この論文は、文分割を含む文の簡素化の評価において、BLEUが単純さと負の相関を示し、人的判断とも一致が悪いことから、文の簡素化に不適切であることを示している。新たに作成された人的にアノテートされたコーパス（HSplit）を用いて、BLEUが文法性、意味の保持、特に単純さを捉えておらず、しばしば単純で分割された文を罰点するため、構造的簡素化タスクでは誤解を招く可能性がある。

ABSTRACT

BLEU is widely considered to be an informative metric for text-to-text generation, including Text Simplification (TS). TS includes both lexical and structural aspects. In this paper we show that BLEU is not suitable for the evaluation of sentence splitting, the major structural simplification operation. We manually compiled a sentence splitting gold standard corpus containing multiple structural paraphrases, and performed a correlation analysis with human judgments. We find low or no correlation between BLEU and the grammaticality and meaning preservation parameters where sentence splitting is involved. Moreover, BLEU often negatively correlates with simplicity, essentially penalizing simpler sentences.

研究の動機と目的

• 文の簡素化（TS）、特にコアな構造的処理である文分割の評価にBLEUが適しているかどうかを評価すること。
• 特に文分割を含む構造的簡素化のための信頼できる自動評価指標の欠如に対処すること。
• 文分割を評価するためのリファレンスセットを用いて、BLEUがその評価に適応可能かどうかを調査すること。
• BLEUの性能を、単純さ、文法性、意味の保持といった人的判断の次元を捉える能力について、-LD SC といった単純なベースラインと比較すること。

提案手法

• 文の分割を伴う複数の構造的パラフレーズを含む、新たに人的にアノテートされたゴールドスタンダードコーパス HSplit を構築した。
• 文法性（G）、意味の保持（M）、単純さ（S）、構造的単純さ（StS）に関する人的判断と、自動指標（BLEU、iBLEU、SARI、-LD SC）との間で、システムレベルおよび文レベルのスピアマン相関分析を実施した。
• BLEUの評価を、語彙的処理を重視する標準リファレンスセット（Xu et al., 2016）と、文分割に焦点を当てたHSplitコーパスの2通りの設定で行った。
• 相関係数とp値を計算し、BLEUとベースラインが人的判断を予測する信頼性を評価した。
• -LD SC という単純なソースとの類似度測定法を用いて、BLEUが単に保守性（ソースに近いかどうか）の指標にすぎないかを検証した。
• 文分割がBLEUスコアに与える影響を、分割処理を含む・含まないシステムの結果を比較することで分析した。

実験結果

リサーチクエスチョン

• RQ1 文分割が関与する文の簡素化において、BLEUは人的判断の単純さと相関しているか？
• RQ2 文分割が行われる文の簡素化出力において、BLEUは文法性と意味の保持を信頼性高く測定できるか？
• RQ3 HSplit のような文分割に特化したリファレンスセットを用いた場合、BLEUの性能が向上するか？
• RQ4 BLEUは単に保守性（ソースとの類似度）を測る指標にすぎず、簡素化の質の真の指標とは言えないか？
• RQ5 BLEUは、単純さの質に関する人的判断を予測する能力において、-LD SC といった単純なベースラインと比べてどうか？

主な発見

• HSplit をリファレンスセットとして使用した場合、BLEUは単純さ（S）と構造的単純さ（StS）と負の相関を示し、システムレベルのスピアマン相関係数はそれぞれ -0.70（p=0.06）および -0.60（p=0.1）であった。
• 文分割が関与する状況では、BLEUは意味の保持（M）や文法性（G）と低もしくは相関がない。HSplit設定ではそれぞれ 0.11（p=0.4）および 0.57（p=0.1）の相関であった。
• 標準リファレンスセットでも、BLEUは単純さ（S）と構造的単純さ（StS）と負の相関を示し、相関係数はそれぞれ 0.17（p=3×10⁻⁴）および 0.17（p=3×10⁻⁴）であった。これは人的判断との一致が悪いことを示している。
• 分割なしの状況では、BLEUと -LD SC の相関は高く（BLEU-1ref で 0.86、p=7×10⁻³）、分割ありの状況では 0.52（p=0.04）であった。これはBLEUが単に保守性を測っている可能性を示唆している。
• SARI は単純さに対して弱い正の相関（システムレベルで 0.26）を示し、構造的単純さとの相関は有意でなかった。これは構造的変化への感受性が低いことを示している。
• iBLEU は BLEU と同等の性能を示したが、わずかに低い相関を示した。これは問題がBLEUのバリエーション特有のものではなく、構造的簡素化タスクに適さない指標設計そのものに起因することを確認した。