[論文レビュー] AutoTemplate: A Simple Recipe for Lexically Constrained Text Generation

Hayate Iso|arXiv (Cornell University)|Nov 15, 2022

Topic Modeling被引用数 5

ひとこと要約

AutoTemplateは、テンプレート生成と語彙的具現化を分離する、シンプルな二段階フレームワークであり、語彙制約付きテキスト生成を実現する。標準の自己回帰モデルを、制約語彙のプレースホルダーを含むマスキングされたテンプレートを予測するように訓練し、推論時にプレースホルダーを実際の制約に置き換えることで、キーワードから文への生成およびエンティティ誘導型要約のタスクにおいて、硬い制約の満足を保証しつつ、競合するベースラインを上回る性能を達成する。

ABSTRACT

Lexically constrained text generation is one of the constrained text generation tasks, which aims to generate text that covers all the given constraint lexicons. While the existing approaches tackle this problem using a lexically constrained beam search algorithm or dedicated model using non-autoregressive decoding, there is a trade-off between the generated text quality and the hard constraint satisfaction. We introduce AutoTemplate, a simple yet effective lexically constrained text generation framework divided into template generation and lexicalization tasks. The template generation is to generate the text with the placeholders, and lexicalization replaces them into the constraint lexicons to perform lexically constrained text generation. We conducted the experiments on two tasks: keywords-to-sentence generations and entity-guided summarization. Experimental results show that the AutoTemplate outperforms the competitive baselines on both tasks while satisfying the hard lexical constraints. The code is available at https://github.com/megagonlabs/autotemplate

研究の動機と目的

• 必要な制約語彙を厳密に含むテキストを生成する課題に取り組み、高い自然さと一貫性を維持すること。
• 従来の語彙制約付き生成手法における制約満足度とテキスト品質のトレードオフを克服すること。
• 標準のエンコーダーデコーダー・モデルを用いて、テンプレート生成と語彙的具現化を分離するシンプルでモジュラーなフレームワークを提案すること。
• テンプレートベースの後処理戦略と組み合わせた標準の自己回帰モデルが、制約付き生成において強力な性能を発揮できることを示すこと。
• キーワードから文への生成やエンティティ誘導型要約を含む多様なタスクにおいて、フレームワークの有効性を検証すること。

提案手法

• 入力は、特別なマスクトークン（例：<X>、<Y>）を用いて制約語彙を連結し、マスキングされた入力表現を構築する。
• 出力は、制約語彙が一意なプレースホルダー・トークンに置き換えられたマスキングされたテンプレートであり、モデルが汎用的な構造を学習できるようにする。
• 標準の自己回帰的エンコーダーデコーダー・モデルを、制約プレースホルダーを含む入力を与えられたもとでマスキングされたテンプレートを予測するように訓練する。
• 推論時、モデルはプレースホルダーを含むテンプレートを生成し、後処理段階で実際の制約語彙に置き換える。
• 各制約ごとに一意なプレースホルダー・トークンを使用することで、曖昧性の解消を図り、生成品質を向上させる。
• フレームワークは事前学習モデルとビームサーチを活用して推論を行うことで、制約の正確性を保ちつつ高品質な出力を実現する。

実験結果

リサーチクエスチョン

• RQ1 テンプレート生成と語彙的具現化を組み合わせたシンプルな二段階フレームワークは、品質と制約満足度の両面で、従来の制約付きテキスト生成手法を上回ることができるか？
• RQ2 マスキングされた入力と出力に標準の自己回帰モデルを適用することで、非自己回帰的または制約付きビームサーチアプローチと比較して、より自然な出力が得られるか？
• RQ3 事前学習は、AutoTemplateフレームワークの制約付き生成タスクにおける性能にどの程度重要か？
• RQ4 テンプレート生成プロセスにおいて、一意なプレースホルダーと共有プレースホルダーの使用にどのような影響があるか？
• RQ5 AutoTemplateは、キーワードから文への生成やエンティティ誘導型要約を含む多様なタスクに、効果的に一般化できるか？

主な発見

• AutoTemplateは、自己回帰的および非自己回帰的モデルを含む競合するベースラインを、キーワードから文への生成およびエンティティ誘導型要約の両タスクで上回る。
• 非自己回帰的CBARTベースラインと比較して、AutoTemplateはより高い自然さスコアを達成しており、自己回帰モデルを用いる利点が裏付けられる。
• 要約タスクにおいて、AutoTemplateはBART や CTRLSum といった最先端の自己回帰モデルと同等の自然さを実現する。
• アブレーションスタディにより、事前学習が生成品質を顕著に向上させることを確認し、ランダム初期化では著しく劣る結果が得られる。
• 各制約ごとに一意なプレースホルダーを使用することで、単一の共有プレースホルダーを使用する場合と比較して、顕著に高い性能が得られ、曖昧性の解消の重要性が示される。
• 評価されたすべてのケースにおいて、複雑な入力（10個以上のエンティティを含む）であっても、すべての硬い語彙的制約が正しく満たされている。