[論文レビュー] Counterfactual Data Augmentation improves Factuality of Abstractive Summarization

Dheeraj Rajagopal, Siamak Shakeri+3 more|arXiv (Cornell University)|May 25, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、エンティティ置換（ランダムまたは同カテゴリ）およびWordNetの上位概念への名詞置換によって要約を摂動させる、反事後的データ拡張手法を提案する。この手法により、MLEの目的関数を変更せずにE2E NLI指標で事実的整合性が2.5–3ポイント向上し、ROUGEスコアに悪影響を与えることなく、単純なデータ拡張によって事実的正確性が向上する。

ABSTRACT

Abstractive summarization systems based on pretrained language models often generate coherent but factually inconsistent sentences. In this paper, we present a counterfactual data augmentation approach where we augment data with perturbed summaries that increase the training data diversity. Specifically, we present three augmentation approaches based on replacing (i) entities from other and the same category and (ii) nouns with their corresponding WordNet hypernyms. We show that augmenting the training data with our approach improves the factual correctness of summaries without significantly affecting the ROUGE score. We show that in two commonly used summarization datasets (CNN/Dailymail and XSum), we improve the factual correctness by about 2.5 points on average

研究の動機と目的

• 最大尤度推定（MLE）を用いて訓練される要約生成モデルにおける、幻覚問題の継続的課題に取り組むこと。
• MLEの目的関数やモデルアーキテクチャを変更せずに、生成要約の事実的整合性を向上させること。
• 反事後的摂動を用いたデータ拡張が、文脈の流れやROUGEスコアを維持したまま事実的正確性を向上させられるかどうかを検討すること。
• エンティティレベルおよび名詞レベルの摂動が、要約における事実的正確性に与える影響を評価すること。
• 制御された誤りを導入することで訓練データの多様性を高め、モデルの事実的整合性への耐性が向上することを示すこと。

提案手法

• 要約に制御コードを付加した変換を適用することで、訓練データを拡張し、反事後的摂動を導入する。
• 3つの拡張戦略を適用する：エンティティをランダムなエンティティに置換する（ER）、同じカテゴリの他のエンティティに置換する（Cat-ER）、名詞をそのWordNet上位概念に置換する（WN-Hyper）。
• 元の入力-要約ペアと変換済みペアの両方の交差エントロピー損失を組み合わせて最適化することで、拡張サンプルを訓練に統合する：$\mathcal{L}_{S} = \frac{1}{M}\sum_{j=1}^{M} \left( \mathcal{L}_{CE}(\mathbf{x}_j,\mathbf{y}_j) + \mathcal{L}_{CE}(\tilde{\mathbf{x}}_j,\tilde{\mathbf{y}}_j) \right)$。
• ベースモデルとしてT5-LARGEを用い、CNN/DailyMailおよびXSumデータセットで同じ訓練ステップ数と5つのランダムシードを用いて、公平な比較を実施する。
• ノイズの多い文を除去し、要約内のOoVエンティティをフィルタリングすることで、データ品質を確保する。
• 制御コードを用いて変換をガイドし、モデルが摂動に対して耐性を持ちつつ、事実的根拠を保持した要約を生成できるようにする。

実験結果

リサーチクエスチョン

• RQ1 MLEの目的関数を変更せずに、反事後的データ拡張がアブストラクト要約における事実的整合性を向上させられるか？
• RQ2 ランダムまたはカテゴリ固有のエンティティ置換による摂動を導入することで、モデルの事実的誤りに対する耐性が向上するか？
• RQ3 名詞をそのWordNet上位概念に置換することで、事実的正確性が向上し、ROUGEスコアは維持されるか？
• RQ4 要約の抽象度と事実的正確性の相関関係は何か？また、データ拡張はこのトレードオフを緩和できるか？
• RQ5 データ拡張のみで事実的正確性が向上できるか？それとも、アーキテクチャの変更や追加の損失項が必要か？

主な発見

• 提案手法によるデータ拡張により、CNN/DailyMailデータセットにおいてE2E NLI指標で平均して約3ポイントの事実的正確性向上が達成された。
• XSumデータセットでは、事実的正確性が2ポイント向上し、特にWN-Hyper戦略がE2E NLIで最高の+3.2ポイントの向上を示した。
• すべての拡張戦略においてROUGEスコアはほとんど安定しており、わずかな変動（例：CNN/DailyMailでのΔROUGE-L = -1.5）に留まった。これは、文の流れやカバレッジが維持されたことを示している。
• 拡張データで訓練されたモデルは、より具体的な要約を生成し、入力からの名前付きエンティティや詳細情報の組み込みが増加した。
• 約9%のケースでは、事実的に正しい要約が元のモデルよりもROUGEスコアが低かった。これは、高い抽象度がROUGEスコアを低下させるが、事実的正確性を向上させることを示唆している。
• 結果から、アーキテクチャの変更や追加の損失項がなくても、データ拡張のみで事実的正確性を顕著に向上させられると示された。