[論文レビュー] BRIO: Bringing Order to Abstractive Summarization

Yixin Liu, Pengfei Liu+2 more|arXiv (Cornell University)|Mar 31, 2022

Topic Modeling被引用数 4

ひとこと要約

BRIOは、最大尤度推定の決定的ターゲット分布を、質に基づいて候補要約に確率質量を割り当てる非決定的分布に置き換える、要約生成のための新しいトレーニングパラダイムを提案する。対照的学習を用いることで、この二重の役割を果たすトレーニングにより、CNN/DailyMailではROUGE-1が47.78、XSumでは49.07に向上し、モデルのキャリブレーションと要約品質の相対的順序付けが向上する。

ABSTRACT

Abstractive summarization models are commonly trained using maximum likelihood estimation, which assumes a deterministic (one-point) target distribution in which an ideal model will assign all the probability mass to the reference summary. This assumption may lead to performance degradation during inference, where the model needs to compare several system-generated (candidate) summaries that have deviated from the reference summary. To address this problem, we propose a novel training paradigm which assumes a non-deterministic distribution so that different candidate summaries are assigned probability mass according to their quality. Our method achieves a new state-of-the-art result on the CNN/DailyMail (47.78 ROUGE-1) and XSum (49.07 ROUGE-1) datasets. Further analysis also shows that our model can estimate probabilities of candidate summaries that are more correlated with their level of quality.

研究の動機と目的

• 最大尤度推定の限界に対処する。これは、参照要約を唯一の正しい出力とみなすが、候補要約の品質による順序付けに失敗する。
• 推論時のモデル性能を向上させる。これにより、候補要約の相対的比較が正確に行え、露出バイアスの影響が軽減される。
• 1つのモデルを二重の役割に設定する：要約生成モデルとしての役割と、参照なし評価モデルとしての役割。
• モデルが予測する確率と、ROUGEなどの実際の要約品質指標との整合性を高める。
• モデルの自信をより適切にキャリブレートし、トレーニングデータのノイズの多いパターンに対してより頑健なトレーニングパラダイムを開発する。

提案手法

• 標準の最大尤度推定（MLE）損失を、候補要約の品質に基づいて確率質量を割り当てる非決定的分布をモデル化する対照的損失に置き換える。
• 事前学習済みの要約生成モデル（例：BART）を用いて、トレーニング中に各ドキュメントに対して多様な候補要約を生成する。
• 対照的学習を適用し、ROUGEスコアで測定された品質が高い候補要約に高い確率を割り当てるようモデルを促進する。
• 標準MLE（参照要約生成用）と対照的損失（候補要約の相対的順序付け用）の二重目的でモデルを訓練する。
• 自己回帰的生成メカニズムを変更せずに、対照的損失をトレーニングプロセスに統合し、エンドツーエンドのトレーニングを可能にする。
• 100または1000件の例のみをサンプリングする少データファインチューニングにこの手法を拡張し、最小限のデータでも有効であることを示す。

実験結果

リサーチクエスチョン

• RQ1 1つの要約生成モデルを、要約の生成と、要約の品質による候補要約の正確な順序付けの両方のタスクに同時に学習させることは可能か？
• RQ2 決定的MLEを非決定的分布に置き換えることで、要約品質とモデルキャリブレーションが向上するか？
• RQ3 対照的損失が、モデルが予測する確率と実際の候補要約のROUGEスコアとの整合性をどの程度高めるか？
• RQ4 提案手法は、最小限のトレーニングデータで動作する少データファインチューニング設定に一般化可能か？
• RQ5 モデルは、トレーニングデータ内の低品質またはノイズの多いパターン（例：'クリックここ'リンク）を学習して無視できるようになるか？

主な発見

• BRIOは、CNN/DailyMailで47.78のROUGE-1を達成し、以前の手法を上回る新たな最先端性能を記録した。
• XSumデータセットでは、49.07のROUGE-1を達成し、新たなSOTA性能を確立した。
• CNNDMでは相対的順序付けの正確性が79.63%に向上し、BARTの54.80%を著しく上回った。
• BRIO-Mulは、'クリックここ'のようなノイズの多いパターンを無視するよう学習し、BARTは誤ってそれらを学習・生成してしまう。
• 特にXSumでは、信頼性グラフがベースラインモデルと比較して過信を軽減していることから、より良いキャリブレーションを示した。
• 少データファインチューニングでは、BRIO-Fewは100または1000件のトレーニング例のみで、CNNDMで+1.52のROUGE-1、XSumで+0.49のROUGE-1の向上を達成した。