[論文レビュー] POINTER: Constrained Text Generation via Insertion-based Generative Pre-training

Yizhe Zhang, Guoyin Wang+4 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling被引用数 23

ひとこと要約

POINTERは、逐次的に並列にトークンを挿入することで、硬い制約付きテキスト生成を実現する挿入ベースの非自己回帰的手法を導入している。この手法により、解釈可能で粗いものから細かいものへの段階的生成が可能となる。12GBのWikipediaデータを用いてBERTと同様の目的関数で事前学習した結果、NewsおよびYelpデータセットで最先端の性能を達成し、推論の計算量は対数時間オーダーとなった。

ABSTRACT

Large-scale pre-trained language models, such as BERT and GPT-2, have achieved excellent performance in language representation learning and free-form text generation. However, these models cannot be directly employed to generate text under specified lexical constraints. To address this challenge, we present POINTER, a simple yet novel insertion-based approach for hard-constrained text generation. The proposed method operates by progressively inserting new tokens between existing tokens in a parallel manner. This procedure is recursively applied until a sequence is completed. The resulting coarse-to-fine hierarchy makes the generation process intuitive and interpretable. Since our training objective resembles the objective of masked language modeling, BERT can be naturally utilized for initialization. We pre-train our model with the proposed progressive insertion-based objective on a 12GB Wikipedia dataset, and fine-tune it on downstream hard-constrained generation tasks. Non-autoregressive decoding yields a logarithmic time complexity during inference time. Experimental results on both News and Yelp datasets demonstrate that POINTER achieves state-of-the-art performance on constrained text generation. We intend to release the pre-trained model to facilitate future research.

研究の動機と目的

• 既存の事前学習済み言語モデルが厳密な語彙的制約下でのテキスト生成に限界を示す問題に対処すること。
• 出力内容の解釈可能性と制御性を維持する非自己回帰的生成手法を開発すること。
• BERTと同様のマスクされた言語モデル化の目的関数を用いて初期化するため、挿入ベースの学習目的関数をそれに一致させること。
• 効率的な対数時間オーダーの推論を実現し、高品質な制約付きテキスト生成を達成すること。
• 今後の制約付きテキスト生成分野の研究を支援するため、事前学習済みモデルを公開すること。

提案手法

• モデルは、既存のトークンの間を段階的に並列に新しいトークンを挿入することでテキストを生成する。
• 学習目的関数はマスクされた言語モデル化を模倣しており、事前学習済みBERTのチェックポイントによる初期化を可能にしている。
• 段階的な挿入メカニズムが、完全なシーケンスが形成されるまで再帰的にトークン挿入を適用する。
• 非自己回帰的デコード戦略を用いるため、推論時にO(log n)の時間計算量となる。
• 微調整を実施する下流の制約付き生成タスクの前段階として、挿入ベースの目的関数を用いて12GBのWikipediaデータセットで事前学習を行った。
• 微分可能な挿入操作をサポートするアーキテクチャにより、シーケンスの整合性を維持したエンドツーエンドの学習が可能となった。

実験結果

リサーチクエスチョン

• RQ1 挿入ベースの非自己回帰的アプローチは、自己回帰的モデルに比べて制約付きテキスト生成でより優れた性能を発揮できるか？
• RQ2 挿入目的関数をマスクされた言語モデル化と一致させることで、学習の安定性と性能がどの程度向上するか？
• RQ3 粗いものから細かいものへの段階的で階層的な生成プロセスは、制約付き生成における解釈可能性と制御性を向上させるか？
• RQ4 挿入ベース手法の対数時間オーダーの推論計算量は、自己回帰的ベースラインと比較して、速度と品質の面でどの程度優れているか？
• RQ5 このモデルは、ニュース生成やレビュー生成といった多様な制約付き生成タスクに一般化できるか？

主な発見

• POINTERは、ハード制約付きテキスト生成において、NewsおよびYelpデータセットで最先端の性能を達成した。
• 従来の自己回帰的および非自己回帰的ベースラインと比較して、語彙的制約下でも優れた生成品質を示した。
• 非自己回帰的デコードにより、対数時間オーダーの計算量となり、推論が著しく高速化された。
• マスクされた言語モデル化と一致する挿入ベースの学習目的関数により、効果的な事前学習と微調整が可能となった。
• 粗いものから細かいものへの段階的階層構造により、解釈可能で直感的な生成プロセスが実現された。
• 事前学習済みモデルは、今後の制約付きテキスト生成分野の研究を支援する目的で公開された。