[論文レビュー] Improving Faithfulness in Abstractive Summarization with Contrast Candidate Generation and Selection

Sihao Chen, Fan Zhang+2 more|arXiv (Cornell University)|Apr 19, 2021

Topic Modeling参考文献 23被引用数 7

ひとこと要約

この論文では、要因と数量を、元のテキストからの意味的に整合性のある代替表現に置き換えることで対照的候補要約を生成し、識別モデルを用いて最も忠実な候補を選択することで、要約の忠実性を向上させるモデルに依存しない後処理手法を提案する。このアプローチは、複数のニューラルモデルにおいて、特に XSum データセットで外在的幻覚を効果的に低減するが、誤った置換によってわずかな内在的幻覚が生じる。

ABSTRACT

Despite significant progress in neural abstractive summarization, recent studies have shown that the current models are prone to generating summaries that are unfaithful to the original context. To address the issue, we study contrast candidate generation and selection as a model-agnostic post-processing technique to correct the extrinsic hallucinations (i.e. information not present in the source text) in unfaithful summaries. We learn a discriminative correction model by generating alternative candidate summaries where named entities and quantities in the generated summary are replaced with ones with compatible semantic types from the source document. This model is then used to select the best candidate as the final output summary. Our experiments and analysis across a number of neural summarization systems show that our proposed method is effective in identifying and correcting extrinsic hallucinations. We analyze the typical hallucination phenomenon by different types of neural summarization systems, in hope to provide insights for future work on the direction.

研究の動機と目的

• 神経的要約生成における外在的幻覚（元のテキストに存在しない事実を生成する現象）という継続的な問題に対処すること。
• 元のモデルの再訓練を必要とせず、元のドキュメントと生成された要約のみを用いて、幻覚を含む要約を是正する後処理技術を開発すること。
• XSum データセットのように、学習データ自体に幻覚例の割合が高い状況において、対照的候補生成と選択の有効性を検討すること。
• さまざまなニューラル要約モデルにおける幻覚の種類と原因を分析し、特に固有表現と数値的数量に焦点を当てる。
• 固有表現レベルの忠実性の限界と全体的な要約忠実性との関係についての知見を提供すること。

提案手法

• 与えられた要約内の幻覚的固有表現および数量を、元のドキュメントから抽出した意味的に整合性のある代替表現に置き換えることで、対照的候補要約を生成する。
• 忠実な要約と合成されたネガティブ候補（置き換え済みの固有表現／数量を含む要約）を区別できるように訓練された識別モデルを用いて、候補をランク付け・選択する。
• 元のドキュメントと、おそらく幻覚を含む要約から自動的に生成された訓練データを用いて、固有表現および数量のタイプに焦点を当てて選択モデルを訓練する。
• 任意の事前学習済み要約モデルで要約を生成した後、後処理ステップとして適用可能であり、モデルに依存しない、かつさまざまなシステムに導入可能である。
• 意味的整合性を、固有表現タイプ（例：日付、人物、組織）および数値的一致性（例：数量オーダー、文脈的に妥当な値）に基づいて定義する。
• ROUGE や BertScore といった自動指標に加え、人間による評価を実施し、忠実性および内在的／外在的幻覚の発生率を評価する。

実験結果

リサーチクエスチョン

• RQ1 再訓練なしに、対照的候補生成と選択が、要約生成における外在的幻覚を効果的に低減できるか？
• RQ2 RNNベースおよびトランスフォーマー基盤のさまざまなニューラル要約アーキテクチャにおいて、この手法はどのように性能を発揮するか？
• RQ3 誤った置換による内在的幻覚の増加と、外在的幻覚の是正のトレードオフは、どの程度顕在するか？
• RQ4 固有表現レベルの忠実性と要約レベルの忠実性の相関関係はどの程度か？また、固有表現の修正のみで全体の要約忠実性が保証されるか？
• RQ5 事前学習の影響およびモデルのバイアスが、提案手法の成功／失敗事例にどのように影響するか？

主な発見

• 提案手法は、XSum データセットにおける最先端モデルが生成する要約において、固有表現および数量の外在的幻覚を顕著に低減する。
• 忠実性に顕著な改善が得られ、幻覚的固有表現および数値の発生が著しく減少するが、同時に高い文の自然さと要約の核心的特徴（サリエンス）を維持する。
• 成功の一方で、元のドキュメントに有効な置換候補がない場合、約 1.9% のケースで内在的幻覚が生じる。
• 事前学習（例：BART、RoBERTa）を経たモデルは、事前学習データ由来のアーチファクトやバイアスの影響で、誤った置換をしやすい。
• 固有表現レベルの忠実性が、要約全体の忠実性を保証するものではない。固有表現が正しく置き換えられても、モデルは依然として事実的に誤った文を生成する可能性がある。
• 人間による評価では、外在的幻覚が生じた 73.1% のケースで、この手法が幻覚を効果的に是正していることが確認されたが、共通知識の推論や知識取得を要する複雑な事実的不一致の完全な解消は不可能である。