[論文レビュー] POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training

Yizhe Zhang, Guoyin Wang+4 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 56被引用数 10

ひとこと要約

Pointerは、硬い制約付きのテキスト生成のための新規な非自己回帰的で挿入ベースのTransformerモデルを提案する。トークンは粗いから細かい階層に沿って、既存のトークンの間に段階的に挿入される。12GBのWikipediaデータで事前学習し、下流のタスクで微調整することで、実証的に対数時間計算量の推論時間複雑性を達成し、効率的で解釈可能かつ制約を正確に満たすテキスト生成が可能になる。

ABSTRACT

Large-scale pre-trained language models, such as BERT and GPT-2, have achieved excellent performance in language representation learning and free-form text generation. However, these models cannot be directly employed to generate text under specified lexical constraints. To address this challenge, we present POINTER (PrOgressive INsertion-based TransformER), a simple yet novel insertion-based approach for hard-constrained text generation. The proposed method operates by progressively inserting new tokens between existing tokens in a parallel manner. This procedure is recursively applied until a sequence is completed. The resulting coarse-to-fine hierarchy makes the generation process intuitive and interpretable. We pre-train our model with the proposed progressive insertion-based objective on a 12GB Wikipedia dataset, and fine-tune it on downstream hard-constrained generation tasks. Non-autoregressive decoding yields an empirically logarithmic time complexity during inference time. Experimental results on both News and Yelp datasets demonstrate that POINTER achieves state-of-the-art performance on constrained text generation. We released the pre-trained models and the source code to facilitate future research (https://github.com/dreasysnail/POINTER).

研究の動機と目的

• 指定されたキーワードがすべて出力に含まれるような、滑らかで制約付きのテキストを生成するという課題に対処すること。
• 推論時間計算量をO(n)からO(log n)に削減する非自己回帰的生成手法を設計し、高い滑らかさと制約遵守を維持すること。
• 高レベルの意味的トークンを低レベルの機能語の前に段階的に挿入することで、直感的で解釈可能な生成を可能にすること。
• 多様な制約付き生成タスクにおけるゼロショットおよびフェイワショット微調整を支援する大規模コーパスで強力な基盤モデルを事前学習すること。
• 挿入ベースの生成プロセスに特化したビームサーチアルゴリズムを開発し、デコードの効率性と正確性を向上させること。

提案手法

• モデルは、並列的で段階的な方法で、既存のトークンの間に新しいトークンを繰り返し挿入することでテキストを生成し、粗いから細かい階層を形成する。
• 生成は段階を経て行われる：まず高レベルの内容語（例：名詞、動詞）が挿入され、その後で段階を経て機能語（例：前置詞、定冠詞）が挿入される。
• 事前学習段階では、BERT風の初期化と12GBのWikipediaデータセットでの有効な事前学習を可能にする、マスク言語モデル（MLM）にインspiredされた目的関数が使用される。
• 語彙的制約を尊重しながら挿入位置と挿入順序を効率的に探索するための新規なビームサーチアルゴリズムが設計されている。
• 自己回帰的生成を避けるために、挿入を特定の位置へのトークン挿入としてモデル化した、系列から系列へのアーキテクチャが採用されている。
• ニュース要約やYelpレビューゲネレーションなどの下流の制約付き生成タスクで微調整が行われ、制約付きキーワードが入力として与えられる。

実験結果

リサーチクエスチョン

• RQ1 非自己回帰的で挿入ベースの生成モデルは、推論時間計算量を削減しながら、硬い制約付きテキスト生成で最先端のパフォーマンスを達成できるか？
• RQ2 自己回帰的またはサンプリングベースの手法と比較して、段階的で粗いから細かい挿入戦略は、生成プロセスの解釈可能性と制御性を向上させるか？
• RQ3 Wikipediaのような一般コーパス上で大規模事前学習をすることで、下流の制約付き生成タスクにおけるゼロショットおよびフェイワショット性能が向上するか？
• RQ4 提案されたビームサーチアルゴリズムは、標準的なデコード戦略と比較して、制約遵守性と滑らかさの両面で優れているか？
• RQ5 情報量の多い内容語を機能語の前に挿入することで、標準的な左から右への生成順序に反する状況でも、モデルは滑らかで一貫性のあるテキストを生成できるか？

主な発見

• Pointerは、ニュースおよびYelpデータセットの両方で、硬い制約付きテキスト生成において最先端のパフォーマンスを達成し、自動評価および人的評価の両方の指標で既存手法を上回っている。
• 非自己回帰的かつ並列的なトークン挿入により、推論時間計算量が実証的に対数的、O(log n)にまで低下している。
• 12GBのWikipediaデータで事前学習することで、下流の制約付き生成タスクにおけるフェイワショットおよびゼロショット一般化性能が顕著に向上している。
• 段階的な挿入メカニズムにより、意味的高レベルのコンテンツが文法的機能語の前に生成される直感的で解釈可能な生成が可能になっている。
• 人的評価により、生成出力が滑らかで一貫性があり、複雑な制約集合下でもすべての必須キーワードを正確に含んでいることが確認された。
• 提案されたビームサーチアルゴリズムは、制約遵守性と滑らかさの両方を効果的にバランスさせ、標準的なデコードベースラインを制約付き設定で上回っている。