[論文レビュー] Human vs Automatic Metrics: on the Importance of Correlation Design

Anastasia Shimorina|arXiv (Cornell University)|May 29, 2018

Natural Language Processing Techniques参考文献 16被引用数 10

ひとこと要約

本稿は、自然言語生成（NLG）における自動評価指標の評価に、相関設計（システムレベル対文レベル）が与える影響を調査する。WebNLGデータセットと、意味的適切さ、文法的適正さ、流暢さの3つの観点における人間の評価を用いて、文レベルの相関は一貫して有意ではあるが低く（例：METEORと意味的適切さの間でSpearmanのρ = 0.73）、一方でシステムレベルの相関はしばしば有意でないことが示された。これは、NLGにおける文レベルの評価と、より洗練された指標の開発の必要性を強調する。

ABSTRACT

This paper discusses two existing approaches to the correlation analysis between automatic evaluation metrics and human scores in the area of natural language generation. Our experiments show that depending on the usage of a system- or sentence-level correlation analysis, correlation results between automatic scores and human judgments are inconsistent.

研究の動機と目的

• システムレベル対文レベルの相関分析が、NLGにおける自動指標の評価に与える影響を調査すること。
• 両者レベルにおける人間の評価と比較して、一般的な自動指標（BLEU、METEOR、TER）の性能を評価すること。
• 異なる相関設計に起因する、従来のNLG評価手法における一貫性の欠如を浮き彫りにすること。
• NLGにおける誤差分析や指標開発の観点から、文レベルの相関がより適切であることを提唱すること。

提案手法

• 9つのNLGシステムから得られた223件の入力・出力データを含むWebNLGデータセットを用いた。
• 意味的適切さ、文法的適正さ、流暢さの3つの指標について、3段階リクルート尺度を用いたクラウドソーシングで人間の評価を収集した（1テキストあたり3評価）。
• システムレベルおよび文レベルで自動指標（BLEU-4、METEOR、TER）を計算し、人間の参照文を除外することでバイアスを回避した。
• 人間の評価と自動スコアの間のスピアマン順位相関係数を、両レベルで計算した。
• システムレベルでは有意水準α = 0.05、文レベルではα = 0.001の両側検定を適用した。
• 人間の参照文の自動スコアが著しく高められてしまう（例：BLEU = 1.0、TER = 0.0）ため、分析から除外した。

実験結果

リサーチクエスチョン

• RQ1 NLGにおける人間の評価と自動指標の評価において、システムレベルと文レベルの相関分析は、結果にどのように差が現れるか？
• RQ2 文レベルの結果が有意であるにもかかわらず、なぜシステムレベルの相関はしばしば有意水準に達しないのか？
• RQ3 一般的な自動指標（BLEU、METEOR、TER）が、NLGにおける文レベルで人間の評価とどの程度相関を示すか？
• RQ4 評価設計の選択（システム対文レベル）が、NLGにおける指標性能の解釈に顕著に影響を与えるか？
• RQ5 これらの発見が、NLGにおける新しい自動評価指標の開発にどのような含意をもたらすか？

主な発見

• システムレベルでは、METEORと意味的適切さの間でのみ有意な相関（p < 0.001）が得られたが、他の大多数の相関は有意でなかった。
• 文レベルでは、人間の評価と自動指標の間のすべての相関が有意であった（p < 0.001）、その中で最も高い相関はMETEORと意味的適切さの間でρ = 0.73であった。
• 自動指標と人間スコアの間の文レベル相関は全体的に低く、絶対値でρ = 0.43からρ = 0.59の範囲にとどまり、機械翻訳（MT）分野の既存の知見を裏付けた。
• 自動指標は文レベルで強い内部相関を示しており（ρ ≥ 0.78）、互いに高い一貫性を保っていた。
• システムレベルと文レベルの結果の乖離は、評価設計の重要性を強調しており、文レベル分析はより信頼性が高く、細分化された洞察を提供する。
• 本研究は、現在の自動指標が文レベルで人間の評価と弱く相関していることから、細分化されたNLG評価に適した新しい指標の開発が不可欠であると結論づけた。