[論文レビュー] Constrained Abstractive Summarization: Preserving Factual Consistency with Constrained Generation

Yuning Mao, Xiang Ren+2 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 26被引用数 31

ひとこと要約

CAS は要約に制約トークンを適用することによって語彙的制約付きデコードを用い、基礎モデルを再訓練することなく事実的一致性と ROUGE スコアを向上させる。CNNDM および XSum で自動的および対話的制約を用いた場合の利得を示す。

ABSTRACT

Despite significant progress, state-of-the-art abstractive summarization methods are still prone to hallucinate content inconsistent with the source document. In this paper, we propose Constrained Abstractive Summarization (CAS), a general setup that preserves the factual consistency of abstractive summarization by specifying tokens as constraints that must be present in the summary. We adopt lexically constrained decoding, a technique generally applicable to autoregressive generative models, to fulfill CAS and conduct experiments in two scenarios: (1) automatic summarization without human involvement, where keyphrases are extracted from the source document and used as constraints; (2) human-guided interactive summarization, where human feedback in the form of manual constraints are used to guide summary generation. Automatic and human evaluations on two benchmark datasets demonstrate that CAS improves both lexical overlap (ROUGE) and factual consistency of abstractive summarization. In particular, we observe up to 13.8 ROUGE-2 gains when only one manual constraint is used in interactive summarization.

研究の動機と目的

• 要約生成における事実的ハルシネーションの低減を動機づける。
• 要約に現れるべき一連のテキストスパンを含む一般的な CAS フレームワークを提案する。
• CAS が再訓練なしで語彙的重複（ROUGE）と事実的一致性を改善することを示す。
• 自動的な制約抽出と人間が指導する対話的制約シナリオを示す。
• BERTSum を基礎モデルとして CNNDM と XSum で CAS を評価する。

提案手法

• 制約集合 C を、要約に必ず現れるべきテキストスパンとして定義する。
• 推論時に制約を適用するため、語彙的制約付きデコード（動的ビーム割り当て）を使用する。
• ソースからキーフレーズ抽出（BERT-KPE）を介して自動的に制約を作成し、新情報を追加するためにフィルタリングする。
• 参照要約のエンティティ/フレーズを手動制約として使用することで、人間のガイドによる制約をシミュレートする。
• ROUGE および事実性整合性指標を用いて、基盤モデル BERTSum で CNNDM と XSum に対して CAS を評価する。

実験結果

リサーチクエスチョン

• RQ1 制約付き生成はモデルを再訓練せずに事実的一致性を改善できるか？
• RQ2 自動抽出された制約は CNNDM と XSum の ROUGE および事実メトリクスで改善をもたらすか？
• RQ3 対話的（手動）制約指導は自動制約と比較して性能にどう影響するか？
• RQ4 制約付きデコードは実用上十分な効率があるか？

主な発見

• 自動抽出されたキーフレーズを制約として使用した場合、CAS は CNNDM および XSum で ROUGE-1、ROUGE-2、ROUGE-L を改善する。
• エンティティレベルの事実的一致性とサポートスコアは CAS の下で CNNDM と XSum で改善する。
• 対話的要約では、単一の手動制約（例: フレーズ）を使用すると XSum で最大 13.8 ROUGE-2 の向上をもたらす。
• CAS は制約のランダム挿入を上回り、ガイド付き制約の使用が有益であることを示す。
• 一般的なビームサイズで制約付きデコードは実行時間のオーバーヘッドを管理可能にする。
• 手動制約は一部の設定で標準的でより高価なモデルに近づく、あるいはそれを凌ぐことがある。