[論文レビュー] COLO: A Contrastive Learning based Re-ranking Framework for One-Stage Summarization

Chenxin An, Ming Zhong+4 more|arXiv (Cornell University)|Sep 29, 2022

Topic Modeling被引用数 10

ひとこと要約

CoLoは、追加モジュールを必要とせず、要約レベルのスコアを直接最適化するコントラスト学習ベースのリランクフレームワークを提案する。1段階要約手法として、CNN/DailyMailで抽出的要約でROUGE-1スコア44.58、生成的要約で46.33を達成し、最先端の性能を発揮。推論速度は2段階システムの3×–8×高速で、学習に100時間以上のGPU時間を節約する。

ABSTRACT

Traditional training paradigms for extractive and abstractive summarization systems always only use token-level or sentence-level training objectives. However, the output summary is always evaluated from summary-level which leads to the inconsistency in training and evaluation. In this paper, we propose a Contrastive Learning based re-ranking framework for one-stage summarization called COLO. By modeling a contrastive objective, we show that the summarization model is able to directly generate summaries according to the summary-level score without additional modules and parameters. Extensive experiments demonstrate that COLO boosts the extractive and abstractive results of one-stage systems on CNN/DailyMail benchmark to 44.58 and 46.33 ROUGE-1 score while preserving the parameter efficiency and inference efficiency. Compared with state-of-the-art multi-stage systems, we save more than 100 GPU training hours and obtaining 3~8 speed-up ratio during inference while maintaining comparable results.

研究の動機と目的

• 抽出的・生成的要約における文/トークンレベルの学習目的と要約レベルの評価の間のギャップを埋める。
• 2段階要約システムにおける別個のリランクモジュールの必要性を排除しつつ、性能を維持または向上させる。
• オンラインサンプリングを用いたコントラスト学習により、要約レベルのスコアを直接最適化する1段階フレームワークを構築する。
• モデル品質を損なわず、高い推論効率を維持することで、リアルタイムデプロイメントを可能にする。
• 要約レベルの最適化が、従来のトークン/文レベルの学習目的を上回ることを示す。

提案手法

• 学習中にモデル自身の出力分布から動的にポジティブおよびネガティブな候補要約を生成するオンラインサンプリング戦略を導入し、固定されたオフラインサンプリングに置き換える。
• 高品質な候補要約（ポジティブペア）を埋め込み空間で近づけ、低品質な要約（ネガティブペア）を遠ざけるコントラスト学習の目的関数を採用する。
• 要約レベルのディスクラミネーター（例：BERTScore、MoverScore、ROUGE）を損失関数として用い、モデルが直接高得点の要約を生成できるように最適化する。
• 抽出的および生成的モデルの両方に対してコントラスト目的を適用し、追加パラメータやモジュールを追加せず、エンドツーエンドの学習を可能にする。
• t-SNE可視化により、高得点の候補が入力文書（アーキテクチャ）の周囲に密にクラスタリングされることを確認する。
• 標準的なシーケンスレベルの損失（例：BCE、NLL）とコントラスト損失を組み合わせて学習することで、文の流れの自然さと要約レベルの質の両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 追加モジュールを追加せずに、2段階リランクシステムに匹敵する性能を達成できる1段階要約モデルは構築可能か？
• RQ2 オフラインの候補生成に依存せず、オンラインサンプリングを用いたコントラスト学習が要約レベルの評価指標を効果的に最適化できるか？
• RQ3 要約レベルスコアの直接最適化は、従来のトークン/文レベルの学習目的と比較して、ROUGEおよび人間評価指標を向上させるか？
• RQ4 要約品質を向上させつつ、CoLoはどの程度推論効率を維持できるか？
• RQ5 異なるニューラル評価指標（例：BERTScore、MoverScore）は、コントラストリランクフレームワークの性能と学習コストにどのように影響を与えるか？

主な発見

• CoLoは、CNN/DailyMailの抽出的要約ベンチマークでROUGE-1スコア44.58を達成し、以前の1段階モデルを上回り、2段階システムと同等またはそれを上回る性能を示した。
• 生成的要約では、ROUGE-1スコア46.33を達成し、難易度の高いベンチマークで強力な性能を発揮した。
• 1枚のGPUで高い推論速度（約42.0サンプル/秒）を維持し、2段階システム（約7.0サンプル/秒）と比較して3×–8×の高速化を達成した。
• BERTScoreをディスクラミネーターとして使用した場合、人間評価で最高の結果を示し、平均順位2.90を記録し、他の自動システムを上回った。
• t-SNE可視化により、高得点の候補が入力埋め込みの周囲に密にクラスタリングされていることが確認され、コントラスト学習目的の有効性が裏付けられた。
• BERTScore や MoverScore などのニューラル指標に基づくディスクラミネーターを用いた学習は、語彙的指標よりも性能向上に寄与するが、学習時間の増加を伴う。