[論文レビュー] A Unified Model for Extractive and Abstractive Summarization using Inconsistency Loss

Wan‐Ting Hsu, Chieh-Kai Lin+4 more|arXiv (Cornell University)|May 16, 2018

Topic Modeling参考文献 20被引用数 24

ひとこと要約

本稿では、抽出的要約モデルの文レベルの注目と抽象的要約モデルの語レベルの注目を統合することで、抽出的および抽象的要約を統合するニューラルモデルを提案する。文レベルの注目と語レベルの注目を一致させるために、人為的アノテーションを必要としない新しい不一致損失関数を導入している。このアプローチにより、CNN/Daily Mail データセットにおいて、ROUGE スコアで最先端の性能を達成し、人間評価でも情報量、簡潔さ、読みやすさの面で先行手法を上回った。

ABSTRACT

We propose a unified model combining the strength of extractive and abstractive summarization. On the one hand, a simple extractive model can obtain sentence-level attention with high ROUGE scores but less readable. On the other hand, a more complicated abstractive model can obtain word-level dynamic attention to generate a more readable paragraph. In our model, sentence-level attention is used to modulate the word-level attention such that words in less attended sentences are less likely to be generated. Moreover, a novel inconsistency loss function is introduced to penalize the inconsistency between two levels of attentions. By end-to-end training our model with the inconsistency loss and original losses of extractive and abstractive models, we achieve state-of-the-art ROUGE scores while being the most informative and readable summarization on the CNN/Daily Mail dataset in a solid human evaluation.

研究の動機と目的

• 抽出的要約と抽象的要約の限界を克服するため、両者の長所を統合する。抽出的モデルは事実の再現率が高いが、一貫性に欠ける。一方、抽象的モデルはスムーズなテキストを生成できるが、事実の誤りを生じるリスクがある。
• 抽出的モデルの文レベルの注目を活用して、抽象的モデルの語レベルの注目を制御する統合アーキテクチャを開発する。これにより、事実の整合性と関連性が向上する。
• 人為的アノテーションを必要とせず、文レベルの注目と語レベルの注目分布の差異をペナルティ化する新しい不一致損失関数を導入する。
• 自動評価指標（ROUGE）と人間評価の両面で最先端の性能を達成する。特に、情報量、簡潔さ、読みやすさの面で優れた性能を発揮する。

提案手法

• 事前学習済みの抽出的要約モデルを用いて文レベルの注目スコアを生成し、これを抽象的ポインタジェネレータデコーダーの語レベルの注目を調整するために使用する。
• 文レベルの注目をゲート機構として適用し、低優先度の文における語レベルの注目を抑制することで、不要な語の生成を低減する。
• 正規化された文レベルの注目と、文ごとの語レベルの注目を集約した分布との間のL2距離を最小化する新しい不一致損失を導入する。
• 不一致損失は微分可能であり、抽出的および抽象的要約の両方の目的関数を統合したエンドツーエンドの学習を可能にする。
• 抽出的損失、抽象的損失、および不一致損失の重み付き組み合わせを用いて、エンドツーエンドでモデルを学習する。
• 最終的な要約は、調整された語レベルの注目を用いてデコードすることで生成され、流暢で簡潔かつ事実に基づいた出力を得る。

実験結果

リサーチクエスチョン

• RQ1 抽出的要約の事実の正確さと抽象的要約の流暢さを統合する統合モデルは、効果的に両者の長所を活かすことができるか？
• RQ2 文レベルの注目と語レベルの注目をどのように一致させれば、抽象的生成における事実の整合性を向上させられるか？
• RQ3 注目分布の差異をペナルティ化する微分可能な不一致損失関数は、ROUGE スコアと人間評価による品質の両方を向上させるか？
• RQ4 統合モデルは、情報量、簡潔さ、読みやすさの面で、自動評価指標と人間評価の両方において、強力なベースラインを上回ることができるか？

主な発見

• 統合モデルは、CNN/Daily Mail データセットにおいて、ROUGE-1、ROUGE-2、ROUGE-L のスコアで最先端の性能を達成し、抽出的および抽象的ベースラインを上回った。
• 人間評価では、参照要約よりも情報量と読みやすさの点で高いスコアを記録し、優れた事実カバレッジと流暢さを示した。
• 不一致損失により注目の一致が顕著に向上し、要約における低優先度または関連のない語の生成が削減された。
• 参照要約よりも要約が簡潔であった一方で、情報量と読みやすさのスコアは維持または上回った。
• アブレーションスタディにより、不一致損失が性能向上に不可欠であることが確認され、これを除去するとROUGEスコアと人間評価指標が劣化した。
• 繰り返しや事実の捏造といった一般的な抽象的要約の問題を効果的に軽減した。特に、低文重要度のコンテンツに対する注目を抑制することで、その効果が顕著であった。