[論文レビュー] SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization

Yixin Liu, Pengfei Liu|arXiv (Cornell University)|Jun 3, 2021

Topic Modeling参考文献 38被引用数 11

ひとこと要約

SimCLS は、対照的学習を用いてテキスト生成と品質スコアリングを分離することで、要約生成の二段階フレームワークを提案する。これにより、ROUGE スコアが顕著に向上し、CNN/DailyMail で BART より 2.51、PEGASUS より 2.50 の ROUGE-1 の向上を達成。学習目的と評価指標の乖離を大幅に縮小する。

ABSTRACT

In this paper, we present a conceptually simple while empirically powerful framework for abstractive summarization, SimCLS, which can bridge the gap between the learning objective and evaluation metrics resulting from the currently dominated sequence-to-sequence learning framework by formulating text generation as a reference-free evaluation problem (i.e., quality estimation) assisted by contrastive learning. Experimental results show that, with minor modification over existing top-scoring systems, SimCLS can improve the performance of existing top-performing models by a large margin. Particularly, 2.51 absolute improvement against BART and 2.50 over PEGASUS w.r.t ROUGE-1 on the CNN/DailyMail dataset, driving the state-of-the-art performance to a new level. We have open-sourced our codes and results: https://github.com/yixinL7/SimCLS. Results of our proposed models have been deployed into ExplainaBoard platform, which allows researchers to understand our systems in a more fine-grained way.

研究の動機と目的

• 要約生成における学習目的（例：MLE）と評価指標（例：ROUGE）の乖離を是正すること。
• 自己回帰的生成における露呈バイアスと誤差蓄積を軽減するため、生成とスコアリングを分離すること。
• 不安定な強化学習を回避し、対照的学習を用いて要約の包括的品質を直接最適化すること。
• 適切に評価された場合、候補要約が元のモデル出力よりも著しく優れていることを示すこと。
• 最大尤度推定を超える、指標指向の学習における新たな道筋を提示すること。

提案手法

• 二段階フレームワーク：まず、事前学習済みの Seq2Seq モデル（例：BART や PEGASUS）がビームサーチを用いて複数の候補要約を生成する。
• 次に、参照なし評価モデル（例：RoBERTa）を、対照的学習を用いて候補要約のスコアを学習する。
• 対照的学習は、正例ペア（候補要約と参照要約）と負例ペア（候補要約と非参照要約）を用い、スコアリングモデルを最適化する。
• スコアリングモデルは、候補要約と参照要約の類似度を最大化し、非参照候補との類似度を最小化するように学習される。
• 多様なビームサーチを用いて候補要約を生成することで、多様性を高め、訓練信号の質を向上させる。
• 最終的な要約は、元のモデルの出力ではなく、訓練済みの評価モデルが予測した最高スコアに基づいて選択される。

実験結果

リサーチクエスチョン

• RQ1 生成と評価を分離する二段階フレームワークは、要約生成性能を向上させることができるか？
• RQ2 対照的学習は、学習目的と ROUGE に基づく評価指標の乖離をどの程度縮小できるか？
• RQ3 対照的学習を用いた参照なし品質スコアリングは、長文ドキュメントにおける位置バイアスを軽減するか？
• RQ4 学習済みスコアリングモデルで評価された場合、Seq2Seq モデルの候補要約は元のモデル出力よりも著しく優れているか？
• RQ5 XSum のような短くより要約的である要約を持つデータセットにおいて、この手法はどのように一般化するか？

主な発見

• SimCLS は、CNN/DailyMail データセットで BART より 2.51 の ROUGE-1 の絶対的向上、PEGASUS より 2.50 の向上を達成し、新たな最先端性能を樹立した。
• XSum データセットでは、ROUGE-L が 0.19 ポints（39.23 から 39.44 に）、ROUGE-1 が 0.50 ポイント（47.10 から 47.61 に）向上し、統計的有意性（p < 0.05）を示した。
• 位置バイアスが低減された：長文ドキュメントにおいて、ベースラインモデルが頭部の文を好むのに対し、SimCLS は参照要約の文の位置とより一致する。
• 多様なビームサーチで生成された候補要約が、対照的モデルで評価された結果、元のモデル出力よりも一貫して優れていた。これは、元のモデルが自らの生成能力を十分に発揮していないことを示している。
• フレームワークは、推論時にゴールド参照にアクセスしない状態でも、別個に対照的に学習されたスコアリングモデルが、より高品質な要約を効果的に特定できることを示した。
• この手法は、さまざまなベースモデルに対して頑健であり、BART や PEGASUS を用いた CNN/DailyMail および XSum において、一貫した向上を示した。