[論文レビュー] Towards Improving Faithfulness in Abstractive Summarization

Xiuying Chen, Mingzhe Li+2 more|arXiv (Cornell University)|Oct 4, 2022

Topic Modeling被引用数 14

ひとこと要約

本稿では、FESと呼ばれる忠実性向上型の抽象的要約モデルを提案する。FESは、エンコーダーの理解を強化するためのマルチタスクQAヘッドと、言語モデルの過信を軽減するためのマックスマージン損失を統合することで、事実的一致性を向上させる。CNN/DMおよびXSumにおける実験では、FESはROUGEスコアおよび事実的一致性の両面で強力なベースラインを顕著に上回った。

ABSTRACT

Despite the success achieved in neural abstractive summarization based on pre-trained language models, one unresolved issue is that the generated summaries are not always faithful to the input document. There are two possible causes of the unfaithfulness problem: (1) the summarization model fails to understand or capture the gist of the input text, and (2) the model over-relies on the language model to generate fluent but inadequate words. In this work, we propose a Faithfulness Enhanced Summarization model (FES), which is designed for addressing these two problems and improving faithfulness in abstractive summarization. For the first problem, we propose to use question-answering (QA) to examine whether the encoder fully grasps the input document and can answer the questions on the key information in the input. The QA attention on the proper input words can also be used to stipulate how the decoder should attend to the source. For the second problem, we introduce a max-margin loss defined on the difference between the language and the summarization model, aiming to prevent the overconfidence of the language model. Extensive experiments on two benchmark summarization datasets, CNN/DM and XSum, demonstrate that our model significantly outperforms strong baselines. The evaluation of factual consistency also shows that our model generates more faithful summaries than baselines.

研究の動機と目的

• 出力文書の理解が不十分なエンコーダーに起因する要約の内在的誤りを是正すること。
• 言語モデルの過信に起因する生成内容の事実誤認（ホリデーション）を緩和すること。
• 要約タスクと補助的QAタスクを併用して学習させることで、意味的理解を高め、モデルの忠実性を向上させること。
• 言語モデルの予測過信を抑えるために、マックスマージン損失を用い、低確率の高リスクトークン生成をペナルティ化すること。
• 自然さや重要語抽出の精度を損なわず、生成要約の事実的一致性を向上させること。

提案手法

• エンコーダーが入力文書のキーメッセージに関して要約とQAの両タスクを同時に最適化するマルチタスク学習フレームワークを導入する。
• QAの注意重みを用いてデコーダーのアテンションを関連するエンコーダー表現に一致させることで、アテンションの正確性を向上させる。
• 言語モデルと要約モデルのログイットの差に基づいて、マージン指標 $ m_t $ を定義し、過信度を測定する。
• 過信度指標を最小化するマックスマージン損失を適用し、特に言語モデルの確率が低いトークンに対して重点を置く。
• 要約損失、QA損失、およびマックスマージン損失を統合した損失関数を用いて、エンドツーエンドでモデルを訓練する。
• バックボーンとして事前学習済みモデル（例：BART）を採用し、提案された補助タスクと損失関数で微調整する。

実験結果

リサーチクエスチョン

• RQ1 補助的QAタスクは、入力文書のキーメンタリックコンテンツに対するエンコーダー理解を向上させることができるか？
• RQ2 マックスマージン損失による言語モデルの過信度低減は、要約におけるホリデーションや外在的事実誤認を減らすか？
• RQ3 QAベースの監視と過信度正則化を併用することで、抽象的要約の事実的一致性が共同で向上するか？
• RQ4 提案されたFESモデルは、ROUGEスコアおよび忠実性指標の両面で、強力なベースラインをどの程度上回るか？
• RQ5 QAアテンションとマックスマージン損失は、異なる誤りタイプの不忠実な生成を抑制するために、どのように相互作用するか？

主な発見

• FESは、CNN/DMおよびXSumデータセットの両方で最先端の性能を達成し、強力なベースラインと比較してROUGEスコアで顕著な向上を示した。
• BARTと比較して、負のマージンを示すトークンの割合を2.33%削減し、平均マージンを0.11ポイント向上させた。
• 特にエンティティ語において、マージン値がゼロに近い（過信度が高い）割合が顕著に減少しており、過信度の低減が確認された。
• 事例研究では、FESがBART、PEGASUS、SimCLSに見られる内在的誤り（文書内容の誤解）と外在的誤り（架空のフレーズ）をすべて排除した。
• QAタスクとマックスマージン損失は相補的な利点を提供する：QAは意味的根拠を強化し、マージン損失は言語モデルの過信を抑制する。
• 誤り分析から、一部の不忠実な名前はトレーニングデータの漏洩に起因しており、後処理による編集がさらに忠実性を向上させうると示唆された。