[論文レビュー] Alleviating Exposure Bias via Contrastive Learning for Abstractive Text Summarization

Shichao Sun, Wenjie Li|arXiv (Cornell University)|Aug 26, 2021

Topic Modeling参考文献 17被引用数 16

ひとこと要約

この論文では、訓練中にゴールド要約の尤度とシルバー要約の尤度低減を同時に最適化することで、抽象的テキスト要約における露出バイアスを軽減する対照的学習手法ConSumを提案する。生成された（シルバー）要約をネガティブ例として組み込むことで、モデルは低品質な出力を避けるよう学習し、XSum、CNN-DM、Multi-Newsの性能が、PEGASUSなどの最先端モデルを上回る。

ABSTRACT

Encoder-decoder models have achieved remarkable success in abstractive text summarization, which aims to compress one or more documents into a shorter version without the loss of the essential content. Unfortunately, these models mostly suffer a discrepancy between training and inference, i.e., the exposure bias problem. During the training stage, with teacher forcing these models are optimized to maximize the likelihood of the gold summary given the gold summary tokens as input to the decoder, while at inference the given tokens are replaced by the generated tokens. Consequently, low-quality summaries are very likely to be generated. To remedy this problem, we propose to leverage contrastive learning to decrease the likelihood of these low-quality summaries, and meanwhile increase the likelihood of the gold summary. Since our solution expands the states that the model perceives during training, we expect that the exposure bias problem can be alleviated. We experimentally demonstrate that our method effectively improves the performance of the state-of-the-art model on different datasets.

研究の動機と目的

• 抽象的要約における露出バイアス問題に対処すること。具体的には、モデルがゴールド要約で訓練される一方で、推論時には生成された要約を使用するという状況である。
• 事実内容から逸脱する低品質な「シルバー要約」を生成する可能性を低減すること。
• 訓練中にポジティブ（ゴールド）およびネガティブ（シルバー）の要約状態を同時に露出させることで、一般化性能を向上させること。
• アーキテクチャの変更なしに、対照的学習を用いて最先端モデル（例：PEGASUS）の性能を向上させること。
• 対照的学習がスケジュールドサンプリングを上回り、露出バイアスの軽減に有効であることを示すこと。

提案手法

• 本手法は、モデルの出力埋め込みと訓練中に生成されたシルバー要約の埋め込みとの類似度を最小化する対照的損失を導入する。
• 訓練中、デコーダー入力は50％の確率で生成済み（シルバー）要約にランダムに置き換えられ、推論状態をシミュレートする。
• 対照的損失は $ \mathcal{L}_{\text{con}} = \max(0, \text{sim}(h_{\text{gold}}, h_{\text{pred}}) - \text{sim}(h_{\text{gold}}, h_{\text{silver}}) + \gamma) $ で定義され、$ \gamma $ はマージンハイパーパrameterである。
• 総損失は負の対数尤度（NLL）と対照的損失の組み合わせで表される：$ \mathcal{L} = \mathcal{L}_{\text{nll}} + \mathcal{L}_{\text{con}} $。
• シルバー要約は訓練中にビームサーチを用いて生成され、対照的目的関数におけるネガティブサンプルとして使用される。
• 本手法はアーキテクチャの変更なしにPEGASUSおよび他のSOTAモデルに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 訓練中にゴールド要約とシルバー要約の両方をモデル化することで、対照的学習が抽象的要約における露出バイアスを軽減できるか？
• RQ2 生成された要約をネガティブ例として組み込むことで、モデルの一般化性能が向上し、事実の歪み（ホールーシャン）が低減するか？
• RQ3 本手法は、さまざまなデータセットにおいてスケジュールドサンプリングと比較して、露出バイアスの軽減にどの程度優れているか？
• RQ4 NLLと対照的損失のバランスをとる最適なマージン値 $ \gamma $ は何か？
• RQ5 本手法は、単一文書および複数文書の両方の要約ベンチマークにおいて一貫して性能向上をもたらすか？

主な発見

• XSumおよびCNN-DMでは、ConSumがRouge-1、Rouge-2、Rouge-Lスコアを向上させ、それぞれ47.34、24.67、39.40を達成し、PEGASUSやスケジュールドサンプリングを上回った。
• Multi-Newsでは、ConSumがRouge-1 47.70、Rouge-2 18.95、Rouge-L 24.86を達成し、スケジュールドサンプリングと比較してわずかに優れた性能を示した。
• アブレーションスタディの結果、NLL損失と対照的損失が相補的であることが確認され、NLL損失を除去するとモデル性能が著しく低下した。
• CNNDMにおけるRouge-1スコアで最も良い結果が得られたマージン値は $ \gamma = 1.5 $ であり、このハイパーパrameterに敏感であることが示された。
• 訓練中にシルバー要約の尤度を明示的に低減することで、その生成リスクが低下し、露出バイアスが軽減された。
• 結果から、ネガティブ例としての生成要約を用いた対照的学習は、スケジュールドサンプリングを上回り、要約品質の向上により効果的であることが示された。