[論文レビュー] Sensitivity of BLANC to human-scored qualities of text summaries

Oleg Vasilyev, Vedant Dharnidharka+3 more|arXiv (Cornell University)|Oct 13, 2020

Topic Modeling参考文献 15被引用数 6

ひとこと要約

本稿では、文書要約の質を評価する自動指標であるBLANCの、人間が評価した5つの質—文の流れのなめらかさ、理解しやすさ、情報量、要約度、事実の正確性—に対する感受性を評価する。300組の要約-本文ペアに対する人間のアノテーションを用いて、最適パラメータ（特にマスキング頻度M=2）を用いたBLANCは、人間のアノテーターと同等の相関を達成するが、事実の誤りに対する感受性は弱く、誤り数との相関は-0.14（Spearman）にとどまる。

ABSTRACT

We explore the sensitivity of a document summary quality estimator, BLANC, to human assessment of qualities for the same summaries. In our human evaluations, we distinguish five summary qualities, defined by how fluent, understandable, informative, compact, and factually correct the summary is. We make the case for optimal BLANC parameters, at which the BLANC sensitivity to almost all of summary qualities is about as good as the sensitivity of a human annotator.

研究の動機と目的

• BLANCという自動要約品質指標が、要約品質の複数の次元において人間の判断とどの程度相関するかを評価すること。
• 文の流れのなめらかさ、情報量、事実の正確性などの人間が評価した質に最も感受性を示すBLANCの最適パラメータを特定すること。
• ロジット、確率、対数尤度に基づくBLANCの代替定式化が、人間のスコアとの相関を向上させるかを評価すること。
• BLANCが事実の誤りを検出する能力にどのような限界があるかを調査すること。
• 人間によるアノテーションに基づく要約品質評価スコアを用いて、BLANCの妥当性と再現可能性を保証するベンチマークを提供すること。

提案手法

• BLANCは、事前に学習されたBERTモデルを用いて、要約をコンテキストとして用いる場合と、フィラー文字列を用いる場合のマスクトークン予測精度の向上を計算する。
• この指標は $BLANC = (N_{help} - N_{base}) / N_{total}$ で定義され、ここで $N_{help}$ は要約を用いた場合の正解予測数、$N_{base}$ は要約なしの場合の正解予測数、$N_{total}$ はマスクされたトークンの総数である。
• マスキングはM番目のトークンごと（M=2, 6）に適用され、語長制約および分割処理により、ストップワードや不完全なサブワードをマスキングしないように制御される。
• 人間の評価では、10名のアノテーターが300組の要約-本文ペアを、文の流れのなめらかさ、理解しやすさ、情報量、要約度、事実の正確性の5つの5段階スケールで評価した。
• 正答のバイナリ精度の代わりに、正しいトークンのロジット、確率、対数尤度を用いたBLANCの代替バージョンをテストした。
• CNN/Daily Mailの要約に対してエンティティ交換を用いて合成的な事実の誤りを導入し、BLANCの事実の正確性に対する感受性をテストした。

実験結果

リサーチクエスチョン

• RQ1 BLANCは、文の流れのなめらかさ、情報量、事実の正確性といった人間が評価した要約の質に対してどの程度感受性を示すか？
• RQ2 マスキング頻度M（例：M=2）を含むBLANCのパラメータ設定は、人間の判断との相関を最大化するか？
• RQ3 モデルの信頼度スコア（ロジット、確率）に基づくBLANCの代替定式化は、人間の質評価との相関を向上させるか？
• RQ4 BLANCは、人間のアノテーターと比較して、要約内の事実の誤りをどの程度正しく検出できるか？
• RQ5 BLANCは、複数の次元にわたる要約品質に対して人間水準の感受性を達成できるか？

主な発見

• マスキング間隔M=2を用いたBLANCが、M=6よりも高い相関を人間の判断と示し、特に全体の質と文の流れのなめらかさにおいて優れた性能を示した。
• M=2のBLANCと人間による全体の質スコアとの相関は、ニュース要約では0.372（Pearson）、CNN/Daily Mail要約では0.222（Pearson）に達した。
• BLANCは文の流れのなめらかさと全体の質に対して強く感受性を示し、人間アノテーター間の相関と同等の水準に達した。
• BLANCの事実の正確性に対する感受性は弱く、人間がアノテートした誤り数との相関は-0.14（Spearman）にとどまり、誤りの検出能力に限界があることが示された。
• 合成誤り実験では、エンティティ交換が行われた際、M=2のBLANCがスコアを低下させたのは56%のケースにとどまり、32%のケースでスコアが上昇しており、誤りに対する反応が一貫していなかった。
• ロジットや確率を用いた代替BLANCバージョンは、わずかに低いか同等の性能を示し、ロジットバージョンが最良の代替相関（CNN/Daily Mailで0.222 Pearson）を示した。これは、さらなる最適化の余地があることを示唆している。