[論文レビュー] deltaBLEU: A Discriminative Metric for Generation Tasks with Intrinsically Diverse Targets

Michel Galley, Chris Brockett+7 more|arXiv (Cornell University)|Jun 23, 2015

Natural Language Processing Techniques参考文献 14被引用数 93

ひとこと要約

本稿では、複数のリファレンス応答に対する人間による品質スコアを組み込んだ判別的メトリクスであるdeltaBLEU (ΔBleu) を導入し、出力が多様なテキスト生成タスクの自動評価を改善する。人間の判断に従ってリファレンスを重み付けすることで、会話応答生成において人間評価との相関が顕著に向上し、すべてのリファレンスを用いる場合にスピアマンのρが0.484、ケンダールのτが0.342を達成する。

ABSTRACT

We introduce Discriminative BLEU (deltaBLEU), a novel metric for intrinsic evaluation of generated text in tasks that admit a diverse range of possible outputs. Reference strings are scored for quality by human raters on a scale of [-1, +1] to weight multi-reference BLEU. In tasks involving generation of conversational responses, deltaBLEU correlates reasonably with human judgments and outperforms sentence-level and IBM BLEU in terms of both Spearman's rho and Kendall's tau.

研究の動機と目的

• 出力が本質的に多様なテキスト生成タスクの評価課題に対処する。この場合、1つのリファレンスでは不十分であり、標準的なメトリクス（BLEU）では品質のばらつきを捉えられない。
• モデル開発中に繰り返し人間評価に依存するのを減らすために、人間の判断を自動メトリクスに直接埋め込む。
• 会話応答生成において、意味的多様性と主観的品質が高いため、自動メトリクスと人間評価との相関を向上させる。
• 要約、並記生成、画像キャプション生成など、対話システムを超えたテキスト生成タスクへも適用可能なスケーラブルで再利用可能な評価フレームワークを開発する。

提案手法

• 本手法は、複数リファレンスBLEUの重み付き版を導入し、各リファレンスに-1から+1の範囲の人工的品質スコアを割り当てる。
• メトリクスは、仮説と各リファレンスとの間の最大オーバーラップに基づくn-gram適合率を計算し、その重みはリファレンスの人間品質スコアに従う。
• 最終的なΔBleuスコアは、人間評価の[−1, +1]スケールから得られる重み付き幾何平均として計算される。
• 標準BLEUと同様に、短縮補正（BP）を用いるが、正規化を保つために重み付き適合率スコアに適用する。
• 本手法は、1つの入力に対して複数のリファレンスが存在する会話応答生成データセット上で評価され、各リファレンスは人間アノテーターによって評価されている。
• 人間評価との相関を測る指標としてスピアマンのρとケンダールのτを用い、標準BLEUおよび文単位BLEUと比較した。

実験結果

リサーチクエスチョン

• RQ1 複数のリファレンスに対する人間による品質スコアを組み込んだメトリクスが、多様な出力を有するテキスト生成タスクにおいて、人間評価との相関を向上させることができるか？
• RQ2 ΔBleuは、会話応答生成における人間評価との相関において、標準BLEUおよび文単位BLEUと比べてどのように差をつけるか？
• RQ3 負のスコア（低品質）が付与されたリファレンスを含めることで、メトリクスの性能が向上するか、悪化するか？
• RQ4 このメトリクスは、並記生成、要約、画像キャプション生成などの他のテキスト生成タスクへ一般化可能か？

主な発見

• すべてのリファレンスを用いる場合、ΔBleuはスピアマンのρが0.484、ケンダールのτが0.342を達成し、標準BLEU（ρ = 0.318、τ = 0.212）および文単位BLEU（ρ = 0.258、τ = 0.167）を顕著に上回る。
• すべてのリファレンスを用いる最良の設定におけるΔBleuは、人間評価との相関が95%信頼区間(0.415, 0.546)を示し、標準BLEUの信頼区間とほとんど重ならない。
• 負の人間評価スコアが付与されたリファレンスを含めても、ΔBleuは性能を向上させ、低スコアのリファレンスからの品質情報も効果的に活用していることが示された。
• 標準BLEUは、すべてのリファレンス（低品質を含む）を用いることで相関が低下する一方、ΔBleuは相関が向上する。これは、ΔBleuがリファレンスの品質差を的確に識別できることを示している。
• 異なるリファレンス選択のしきい値に対しても、ΔBleuは強固な性能を維持しており、スコアが≥0.6のリファレンスを用いる場合、ρが0.405、τが0.281を達成した。