[論文レビュー] Analyzing Sentence Fusion in Abstractive Summarization

Logan Lebanoff, John Muchovej+5 more|arXiv (Cornell University)|Oct 1, 2019

Topic Modeling参考文献 34被引用数 4

ひとこと要約

本稿は、人間のアノテーションを用いてCNN/DailyMail上で5つの最先端モデルを評価することにより、抽象的要約における文融合の分析を行っている。38.3%の統合要約文が誤った事実を含んでおり、特にエンティティ置換や複雑な融合手法は誤りを起こしやすいが、単純な連結手法はより忠実で文法的に正しい出力を得ている。

ABSTRACT

While recent work in abstractive summarization has resulted in higher scores in automatic metrics, there is little understanding on how these systems combine information taken from multiple document sentences. In this paper, we analyze the outputs of five state-of-the-art abstractive summarizers, focusing on summary sentences that are formed by sentence fusion. We ask assessors to judge the grammaticality, faithfulness, and method of fusion for summary sentences. Our analysis reveals that system sentences are mostly grammatical, but often fail to remain faithful to the original article.

研究の動機と目的

• 最先端の抽象的要約生成モデルが文融合をどの程度実行しているかを調査すること。これはコンテンツ統合の核心的課題である。
• 複数のソース文を統合して形成された要約文における忠実性、文法性、および融合手法を評価すること。
• 連結、置換、複雑な統合といった異なる融合技法が、より高い正確性と文法的正しさをもたらすかどうかを特定すること。
• PG、Novel、Fast-Abs-RL、Bottom-Up、DCAといった多様なモデルが、忠実性と文法的正しさの観点でどの程度の性能を示すかを比較すること。
• 自動評価指標（例：ROUGE）の限界を補うために、文融合のための人間による評価ベンチマークを提供すること。

提案手法

• アノテーションの信頼性を高めるために、各例に対して4名のアノテーターを割り当て、アマゾンMechanical Turkを用いて人間による評価を実施し、忠実性、文法性、および融合手法を評価した。
• 圧縮、コピー、マッチング失敗とは異なる、文融合によって形成された文に焦点を当てた。
• ソース文ペアを特定するための自動ヒューリスティクスを用い、正しく特定されたソースペアの割合をカバレッジとして測定した。
• 融合手法を、バランス／アンバランスな連結、置換、その他の複雑な手法のカテゴリに分類した。
• PG、Novel、Fast-Abs-RL、Bottom-Up、DCAの5つの最先端の抽象的要約生成モデルの出力を分析した。
• 忠実性と文法性の判断が難しいため、信頼性を高めるために1例あたり4名のアノテーターを用いた。

実験結果

リサーチクエスチョン

• RQ1 抽象的要約生成モデルが複数のソース文を統合する際、文法的に不適切または事実誤認のある文をどの程度の頻度で生成するか？
• RQ2 連結、置換、複雑な統合といった文融合技法の中で、どの手法がより高い忠実性と文法的正しさを達成するか？
• RQ3 異なる最先端モデルの、統合処理における事実的一致性と文法的正しさの観点での性能差はどの程度か？
• RQ4 ソース文ペアを特定するための自動ヒューリスティクスが、人間の判断とどの程度一致するか？
• RQ5 なぜエンティティ置換のような複雑な融合手法は、連結のような単純な手法よりも高い誤り率を示すのか？

主な発見

• 最先端モデルが生成する要約文の38.3%が誤った事実を含んでおり、文融合における事実的一致性の大きな課題が示された。
• 21.6%の要約文が文法的に不適切であり、特に「その他の」融合カテゴリで最低の文法性（68.23%）が観察された。
• 連結ベースの融合手法（バランス／アンバランス）は、それぞれ忠実性（82.55% および 69.40%）と文法性（86.91% および 80.25%）が最高を記録した。
• エンティティ置換や複雑な融合手法では、誤った事実が47～75%の頻度で生じ、高度な融合技法における高い誤り率が示された。
• ソース文ペアを特定するための自動ヒューリスティクスのカバレッジは平均77.3%であったが、複雑なケースでは低く、アノテーションの信頼性に影響を与えた。
• ROUGEスコアが高くても、PGモデルは最も忠実なシステム（バランス連結の場合は82.55%の忠実度）であった。これはROUGE単体では忠実性の評価が不十分であることを示唆している。