[論文レビュー] Contrastive Learning with Adversarial Perturbations for Conditional Text Generation

Seanie Lee, Dong Bok Lee+1 more|arXiv (Cornell University)|Dec 14, 2020

Topic Modeling参考文献 50被引用数 9

ひとこと要約

本稿では、教師強制で学習するseq2seqモデルにおける露出バイアスを軽減するために、敵対的摂動を用いてハードな陽性および陰性例を生成する対照学習手法CLAPSを提案する。陰性例の条件付き尤度を最小化し、意味的に類似しているが距離の遠い陽性例の尤度を高く保つことで、機械翻訳、要約、質問生成の各タスクにおいて、ベースラインと比較して一貫した性能向上を達成する。

ABSTRACT

Recently, sequence-to-sequence (seq2seq) models with the Transformer architecture have achieved remarkable performance on various conditional text generation tasks, such as machine translation. However, most of them are trained with teacher forcing with the ground truth label given at each time step, without being exposed to incorrectly generated tokens during training, which hurts its generalization to unseen inputs, that is known as the "exposure bias" problem. In this work, we propose to mitigate the conditional text generation problem by contrasting positive pairs with negative pairs, such that the model is exposed to various valid or incorrect perturbations of the inputs, for improved generalization. However, training the model with naive contrastive learning framework using random non-target sequences as negative examples is suboptimal, since they are easily distinguishable from the correct output, especially so with models pretrained with large text corpora. Also, generating positive examples requires domain-specific augmentation heuristics which may not generalize over diverse domains. To tackle this problem, we propose a principled method to generate positive and negative samples for contrastive learning of seq2seq models. Specifically, we generate negative examples by adding small perturbations to the input sequence to minimize its conditional likelihood, and positive examples by adding large perturbations while enforcing it to have a high conditional likelihood. Such "hard" positive and negative pairs generated using our method guides the model to better distinguish correct outputs from incorrect ones. We empirically show that our proposed method significantly improves the generalization of the seq2seq on three text generation tasks - machine translation, text summarization, and question generation.

研究の動機と目的

• 教師強制で学習するseq2seqモデルにおける露出バイアス問題に対処すること。ここで、モデルは訓練中に誤った出力を一度も経験しない。
• 訓練中に多様で意味のある陽性および陰性例を提示することで、一般化性能を向上させること。
• ランダムな陰性例を用いた単純な対照学習の限界を克服すること。これらの例は容易に区別可能であり、最適でない。
• 隠れ表現に対する敵対的摂動を用いて、意味的に意味のあるハードな陽性および陰性ペアを体系的かつ原理的につくる手法を開発すること。
• 提案手法の有効性を、複数の条件付きテキスト生成タスクにおいて実証すること。

提案手法

• 入力系列の隠れ表現に微小な摂動を加えることで、その条件付き尤度を最小化する方法で陰性例を生成する。
• 出力系列の隠れ表現に大きな摂動を加えつつ、KLダイバージェンスの最小化によって高い条件付き尤度を強制することで、陽性例を生成する。
• 得られたハードな陽性および陰性ペアを対照学習フレームワークに統合し、正しい出力と誤った出力の識別能力を向上させる。
• 元の入出力ペアに加えて摂動を加えたペアを用いて、対照損失を最小化しながらseq2seqモデルをエンドツーエンドで訓練する。
• 生成された摂動の品質を向上させ、一般化性能を強化するために事前学習済みモデルを活用する。
• 複数のテキスト生成タスクにわたって、Transformerアーキテクチャを用いたseq2seqモデルに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 敵対的に生成されたハードな陰性および陽性例は、条件付きテキスト生成におけるモデルの一般化性能を向上させるか？
• RQ2 原理的摂動に基づく対照学習は、ランダムな陰性例を用いた単純な対照学習と比較して、モデルの性能および耐性にどのような差をもたらすか？
• RQ3 本手法は強化学習やGANベースの訓練を必要とせずに、seq2seqモデルにおける露出バイアスを効果的に低減できるか？
• RQ4 CLAPSは、機械翻訳、要約、質問生成といった多様なテキスト生成タスクにおいて、どの程度性能を向上させるか？
• RQ5 意味的に意味のあるハードな対照ペアを用いて訓練することで、モデルの正しい出力と誤った出力の識別能力はどの程度向上するか？

主な発見

• CLAPSは、機械翻訳、要約、質問生成という3つのテキスト生成タスクにおいて、一般化性能を顕著に向上させる。
• 教師強制で学習したモデルやランダムな陰性例を用いた対照学習で学習した強力なベースラインと比較して、一貫した性能向上を達成する。
• 意味的に妥当なハードな陰性例にさらされることで、分布シフトや未知の入力に対してもモデルの耐性が向上している。
• 実験の結果、CLAPSが生成する対照ペアはランダムな陰性例よりも著しく区別がつきにくく、陽性・陰性ペアのゼロショット分類精度が低いことから裏付けられる。
• 敵対的摂動を用いて陽性および陰性例の両方を生成することで、モデルの予測と正解との整合性が高まり、特にリソースが限られた環境やドメイン外の設定において顕著に改善される。
• 本手法は、大規模コーパスで事前学習されたモデルに対しても有効であり、単純な対照学習ではランダムな陰性例が容易に識別可能であるため、その効果が発揮されない場合でも機能する。