[論文レビュー] Boosting Factual Correctness of Abstractive Summarization

Chenguang Zhu, William Hinthorn+5 more|arXiv (Cornell University)|Mar 19, 2020

Topic Modeling被引用数 8

ひとこと要約

本稿では、FASumと呼ばれる事実に配慮した抽象的要約モデルを提案する。このモデルは、入力テキストから抽出した事実関係を統合するためにニューラルグラフ計算を用い、事実の正確性が著しく向上する。さらに、FCと呼ばれる事実の正誤訂正器を導入し、少数のエンティティトークンを変更するだけで要約の品質を向上させ、自動評価および人的評価の両方で最先端のモデルを上回る性能を発揮する。

ABSTRACT

A commonly observed problem with abstractive summarization is the distortion or fabrication of factual information in the article. This inconsistency between summary and original text has led to various concerns over its applicability. In this paper, we firstly propose a Fact-Aware Summarization model, FASum, which extracts factual relations from the article and integrates this knowledge into the decoding process via neural graph computation. Then, we propose a Factual Corrector model, FC, that can modify abstractive summaries generated by any model to improve factual correctness. Empirical results show that FASum generates summaries with significantly higher factual correctness compared with state-of-the-art abstractive summarization systems, both under an independently trained factual correctness evaluator and human evaluation. And FC improves the factual correctness of summaries generated by various models via only modifying several entity tokens.

研究の動機と目的

• 抽象的要約における事実の誤認（フェイクニュース的誤解）という長年の問題に対処すること。これは、生成された要約が入力テキストの事実を歪めたり、捏造したりするものである。
• 入力記事からの事実知識をデコードプロセスに統合することで、抽象的要約における事実の正確性を向上させること。
• 元のモデルの再訓練を必要としない、軽量で事後処理型の補正手法を開発すること。
• 自動評価指標と人的アノテーションの両方を用いて事実の正確性を評価し、評価手法の多様性にかかわらず堅牢な評価を実現すること。

提案手法

• FASumは、関係抽出モジュールを用いて入力記事から事実関係（例：主語-述語-目的語の三項組）を抽出する。
• 抽出された関係から事実知識グラフを構築し、デコード中に事実情報を伝搬・集約するためにグラフニューラルネットワークを用いる。
• グラフでエンコードされた事実知識は、ゲート付きアテンションメカニズムを通じてデコーダーに統合され、より事実に整合性のある要約の生成を支援する。
• FCは、生成された要約内の事実の不整合を特定し、少数のエンティティトークンを変更することで是正する、別個の軽量モデルである。
• FCは再訓練を必要とせず、元の要約モデルに依存しない後処理ステップとして動作し、あらゆる抽象的要約モデルの出力に対応可能である。
• 両モデルは標準的な抽象的要約ベンチマークを用いて訓練および評価され、事実の正確性は自動評価と人的評価の両方で評価されている。

実験結果

リサーチクエスチョン

• RQ1 入力テキストからの事実関係をデコードプロセスに統合することで、抽象的要約における事実の正確性が著しく向上するか？
• RQ2 再訓練を必要としない軽量な事後補正モデルが、元のモデルを再訓練せずに事実の整合性を効果的に向上させられるか？
• RQ3 FASumの事実の正確性は、自動評価および人的評価の両方において、最先端の抽象的要約モデルと比較してどの程度優れているか？
• RQ4 わずかに少数のエンティティトークンを変更するだけで、FCが事実の正確性をどの程度向上させられるか？

主な発見

• FASumは、独立に訓練された事実の正確性評価器を用いて測定したところ、最先端の抽象的要約モデルよりも顕著に高い事実の正確性を達成した。
• 人的評価により、FASumが既存の手法と比較して優れた事実の整合性を持つ要約を生成することが確認された。
• FCは、さまざまなモデルからの要約に対して、わずかに少数のエンティティトークンを変更するだけで事実の正確性を向上させ、その効率性と汎用性が示された。
• FCによる事実の正確性向上効果は、さまざまな元モデルに対して一貫しており、事後補正ツールとしての堅牢性が裏付けられた。