[論文レビュー] FFCI: A Framework for Interpretable Automatic Evaluation of Summarization

Fajri Koto, Timothy Baldwin+1 more|arXiv (Cornell University)|Nov 27, 2020

Topic Modeling被引用数 8

ひとこと要約

本稿では、忠実性、注目度、カバレッジ、文間の整合性の4つの次元を統合した、解釈可能な要約の自動評価のための新規フレームワークFFCIを提案する。新たに作成されたアノテート済みデータセットを用い、19種類の事前学習済み言語モデルを評価した結果、モデルベースの指標が忠実性の評価において質問応答アプローチを上回ること、およびROUGEでは捉えきれないモデル性能の差が明らかになった。

ABSTRACT

In this paper, we propose FFCI, a framework for fine-grained summarization evaluation that comprises four elements: faithfulness (degree of factual consistency with the source), focus (precision of summary content relative to the reference), coverage (recall of summary content relative to the reference), and inter-sentential coherence (document fluency between adjacent sentences). We construct a novel dataset for focus, coverage, and inter-sentential coherence, and develop automatic methods for evaluating each of the four dimensions of FFCI based on cross-comparison of evaluation metrics and model-based evaluation methods, including question answering (QA) approaches, semantic textual similarity (STS), next-sentence prediction (NSP), and scores derived from 19 pre-trained language models. We then apply the developed metrics in evaluating a broad range of summarization models across two datasets, with some surprising findings.

研究の動機と目的

• ROUGEを超える信頼性の高い自動要約評価の欠如を是正すること。
• 事実的一致性、コンテンツの正確性、再現性、および話法の整合性を捉える細分化された評価フレームワークの開発。
• 再現可能な評価を支援するため、注目度、カバレッジ、文間の整合性の3次元についての新規アノテート済みデータセットの公開。
• 複数の次元にわたって、従来の指標（ROUGE、BLEU、METEOR）とモデルベースの指標（例：BERTScore、FactCC、19種類のPLM）を比較評価すること。
• CNN/DailyMailおよびXSUMでの実証的評価を通じて、標準的な指標（例：ROUGE）では捉えきれないモデル性能の不一致を明らかにすること。

提案手法

• FFCIは、忠実性（元文書との事実的一致性）、注目度（基準要約とのコンテンツの正確性）、カバレッジ（基準要約の重要コンテンツの再現度）、文間の整合性（文の間の話法のなめらかさ）の4次元に沿って要約を評価する。
• 忠実性の評価には、計算コストの高い質問応答パイプラインに代わって、19種類の事前学習済み言語モデルの文単位の意味的類似度スコアを用いる。
• 注目度とカバレッジは、要約と基準要約間の意味的同等性を測定し、事前学習済みモデルの埋め込みを用いて文単位の精度と再現度を計算する。
• 文間の整合性は、モデルが要約内の文が続くかどうかを予測する、変更された次文予測（NSP）タスクを用いて評価する。
• 指標の相互比較と、意味的テキスト類似度（STS）、質問応答（QA）、FactCCを含むモデルベースの評価を統合する。
• 注目度、カバレッジ、文間の整合性の評価を可能にするために、1,000件のサンプルから成る新規アノテート済みデータセットを構築した。

実験結果

リサーチクエスチョン

• RQ1 異なる自動指標が忠実性の評価においてどのように機能するか。また、計算コストの高い質問応答パイプラインに代わって、事前学習済み言語モデルのスコアが使用可能か。
• RQ2 ROUGE などの従来の指標が、注目度、カバレッジ、整合性に関する人的判断とどの程度相関しているか。
• RQ3 どの事前学習済み言語モデルが、さまざまな要約モデルにおいて忠実性、注目度、カバレッジの評価において最も信頼性の高いスコアを提供するか。
• RQ4 次文予測は、生成的要約における文間の整合性を効果的に評価するために適応可能か。
• RQ5 ROUGE を超える複数の次元にわたる評価を通じて、モデルの挙動に関するどのような洞察が得られるか。

主な発見

• 忠実性の評価において最も優れたスコアを示した事前学習済み言語モデルは RoBERTa-large であり、CNNDM-PG タスクでレイヤー10を使用した場合、平均スコアは 0.698 を記録した。
• 注目度とカバレッジの観点では、RoBERTa-base と RoBERTa-large が CNNDM-PG タスクで最高の平均スコア（それぞれ 0.698 と 0.707）を達成した。
• NSPに基づく整合性指標は人的判断と強い相関を示し、Electra-base-discriminator は平均 NSP スコア 0.305、最大 0.311 を記録した。
• BERTScore や FactCC などのモデルベースの指標は、特にリソースが限られた状況下でも、QA ベースの方法よりも信頼性が高かった。
• FFCI で再評価した結果、ROUGE スコアが高いモデルが、FFCI の全次元で優れた性能を発揮するとは限らないという驚きの発見が得られた。これは、ROUGE が要約の重要な特性を十分にカバーしていないことを示している。
• 本研究では、GPT-2 モデルが ROUGE スコアは高いものの、整合性とカバレッジで低いスコアを示したことが明らかになった。これは、ROUGE が構造的および事実的な問題を検出できないことを示している。