[論文レビュー] CO2Sum:Contrastive Learning for Factual-Consistent Abstractive Summarization

Wei Liu, Huanqin Wu+4 more|arXiv (Cornell University)|Dec 2, 2021

Topic Modeling参考文献 29被引用数 9

ひとこと要約

CO2Sumは、追加パラメータを追加せずにエンコーディング段階とデコーディング段階の両方で対照的学習を適用することで、事実的一致性を向上させる対照的学習フレームワークを提案する。事実的ネガティブサンプルの構築に言語モデルベースの手法を導入し、公開ベンチマークにおいて事実的一致性メトリクスで最先端の性能を達成しており、FASUM や CCGS といった強力なベースラインを上回っている。

ABSTRACT

Generating factual-consistent summaries is a challenging task for abstractive summarization. Previous works mainly encode factual information or perform post-correct/rank after decoding. In this paper, we provide a factual-consistent solution from the perspective of contrastive learning, which is a natural extension of previous works. We propose CO2Sum (Contrastive for Consistency), a contrastive learning scheme that can be easily applied on sequence-to-sequence models for factual-consistent abstractive summarization, proving that the model can be fact-aware without modifying the architecture. CO2Sum applies contrastive learning on the encoder, which can help the model be aware of the factual information contained in the input article, or performs contrastive learning on the decoder, which makes the model to generate factual-correct output summary. What's more, these two schemes are orthogonal and can be combined to further improve faithfulness. Comprehensive experiments on public benchmarks demonstrate that CO2Sum improves the faithfulness on large pre-trained language models and reaches competitive results compared to other strong factual-consistent summarization baselines.

研究の動機と目的

• 大規模言語モデルが流暢ではあるが事実的に誤りである要約を生成する、要約生成における事実的一致性の欠如を是正すること。
• アーキテクチャの変更なしに、エンコーディング段階とデコーディング段階の両方でシーケンス・トゥ・シークエンスモデルが事実を意識できるようにする手法の開発。
• 効果的な対照的学習のための、事実的不一致を含む高品質なネガティブサンプルの自動構築。
• 対照的学習が、既存の事実的一致性アプローチの自然で効果的な拡張であることを示すこと。

提案手法

• CO2Sumはエンコーダーに対照的学習を適用し、モデルが入力記事内の事実的コンテンツに注目できるようにする。
• デコーダーに対照的学習を適用し、正解要約と事実的に不一致を含むネガティブサンプルを区別できるようにする。
• LFN（言語モデルベースの事実的ネガティブサンプル構築）を導入し、脆弱な事実スパンを特定し、それらを変更することでネガティブ要約を生成する。
• 事前学習済み言語モデルを用いて、正解要約内の重要なエンティティや事実を置き換えることでネガティブサンプルを構築する。
• 標準的な教師強制トレーニングプロセスに対照的学習を統合し、モデルの推論効率を維持する。
• エンコーディングとデコーディングにおける対照的学習のアプローチは直交的であり、組み合わせることで事実的一致性が向上する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更なしに、要約生成における事実的一致性を向上させるために対照的学習を効果的に適用できるか。
• RQ2 事実的不一致を含む高品質なネガティブサンプルを、対照的学習のための自動的構築は可能か。
• RQ3 エンコーディング段階とデコーディング段階の両方に対照的学習を適用することで、単一段階のアプローチよりも優れた事実的一致性が得られるか。
• RQ4 知識グラフやポストエディティングモジュールを用いる強力なベースラインと比較して、CO2Sumは事実的一致性とパフォーマンスにおいてどのように差をつけるか。

主な発見

• CO2Sumは、大規模事前学習言語モデルにおける事実的一致性を顕著に向上させ、FASUMという強力なベースラインを、4つの事実的一致性メトリクスすべてで上回った。
• 追加パラメータを一切導入しないにもかかわらず、追加のBARTモデルを用いて順位付けを行うポストエディティングベースラインであるCCGSと比較して、競争力のある結果を達成した。
• エンコーディングとデコーディングにおける対照的学習の組み合わせは、それぞれの単独での適用よりも優れた性能を示し、それらの直交性と補完的性質を裏付けた。
• 事例研究では、CO2Sumが誤ったエンティティ（例：「動物愛好家」が「レパブリカン大統領候補者」に置き換わるなど）の生成確率を低下させつつ、正しいエンティティの生成確率を高めていることが示された。
• LFN手法は、脆弱な事実スパンを効果的に特定し、モデルが事実の錯覚を避けるように効果的に訓練できる妥当なネガティブサンプルを生成した。
• CO2Sumは標準的なトレーニングパイプラインと互換性があり、アーキテクチャの変更なしに、任意のシーケンス・トゥ・シークエンスモデルに適用可能である。