[論文レビュー] Unsupervised Paraphrase Generation via Dynamic Blocking.

Tong Niu, Semih Yavuz+4 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 54被引用数 14

ひとこと要約

この論文では、BART や T5 などの大規模な事前学習済み自己回帰モデルが、元のトークンの再生成をブロックすることで、教師なし設定下でも高品質な言い換え文を生成できる、Dynamic Blocking と呼ばれるデコーディングアルゴリズムを紹介する。この手法はベンチマークデータセットで最先端の性能を達成し、微調整なしに多言語に一般化可能である。

ABSTRACT

We propose Dynamic Blocking, a decoding algorithm which enables large-scale pretrained autoregressive models (such as BART, T5, GPT-2 and XLNet) to generate high-quality paraphrases in an unsupervised setting. In order to obtain an alternative surface form, whenever the language model emits a token that is present in the source sequence, we prevent the model from generating the subsequent source token for the next time step. We show that our approach achieves state-of-the-art results on benchmark datasets when compared to previous unsupervised approaches, and is even comparable with strong supervised, in-domain models. We also propose a new automatic metric based on self-BLEU and BERTscore which not only discourages the model from copying the input through, but also evaluates text similarity based on distributed representations, hence avoiding reliance on exact keyword matching. In addition, we demonstrate that our model generalizes across languages without any additional training.

研究の動機と目的

• 大規模な事前学習済み自己回帰モデルを用いた教師なし言い換え文生成のためのデコーディング戦略を開発すること。
• デコーディング中に元のトークンの重複した再生成を防ぐことで、言い換え文の品質を向上させること。
• 正確なキーワード一致に依存しない、堅牢な自動評価指標を構築すること。
• 追加の訓練なしにゼロショット多言語一般化を可能にする言い換え文生成を実現すること。
• 教師あり、ドメイン特化モデルと同等の性能を、教師なし事前学習のみで達成すること。

提案手法

• Dynamic Blocking は、直前に生成されたトークンが元のシーケンス内に存在する場合、次の時刻ステップで同じトークンを再生成しないように制限することで、表面的な多様性を促進する。
• この手法は、BART や T5、GPT-2、XLNet などの任意の自己回帰モデルに対して、デコーディング段階で適用可能である。
• 正確な一致を避けるために、自己-BLEU と BERTscore を組み合わせた新しい自動評価指標を提案する。
• この指標は文脈的埋め込みを用いて、生成出力と入力との類似性を測ることで、コピーをペナルティ化する。
• 微調整なしに適用可能であり、ゼロショット多言語言い換え文生成を可能にする。
• デコーディング戦略は、元のシーケンス内に存在するトークンに基づいて動的にブロッキングを行い、多様性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 微調整なしに、教師なし設定下でデコーディングアルゴリズムが言い換え文の品質を向上させられるか？
• RQ2 Dynamic Blocking は、生成中に入力トークンのコピーを効果的に防げるか？
• RQ3 正確な一致に依存しない、提案された指標が言い換え文の品質を信頼性高く評価できるか？
• RQ4 モデルはどの程度ゼロショット多言語一般化を達成できるか？
• RQ5 Dynamic Blocking の性能は、教師ありドメイン特化モデルと比べてどの程度か？

主な発見

• Dynamic Blocking は、教師なし設定下でベンチマーク言い換え文データセットにおいて最先端の結果を達成した。
• 微調整なしにもかかわらず、強力な教師ありドメイン特化言い換えモデルと同等の性能を示した。
• 自己-BLEU と BERTscore を組み合わせた提案指標は、入力コピーを抑制しつつ、言い換え文の品質を効果的に評価できた。
• 追加の訓練や微調整なしに、言語をまたいで一般化可能であった。
• 標準的なデコーディングと比較して、言い換え文の多様性と表面的変化が顕著に向上した。
• 語彙的繰り返しを避けながらも、入力との高い意味的類似性を維持していた。