[論文レビュー] Syntax-driven Iterative Expansion Language Models for Controllable Text Generation

Noé Casas, José A. R. Fonollosa+1 more|arXiv (Cornell University)|Apr 5, 2020

Topic Modeling参考文献 30被引用数 4

ひとこと要約

本稿では、構文解析木を用いて並列かつ構文的に情報のあるトークン生成を促進する、構文駆動型反復的拡張言語モデル（IE-LM）を提案する。木構造に従ってトークンをデコードすることで、自己回帰的モデルよりも55%高速（45%のステップ数）に推し進められ、トランスフォーマーと同等の滑らかさと多様性を維持するとともに、スタイルの変化に直接的な構文的制御を可能にする。

ABSTRACT

The dominant language modeling paradigm handles text as a sequence of discrete tokens. While that approach can capture the latent structure of the text, it is inherently constrained to sequential dynamics for text generation. We propose a new paradigm for introducing a syntactic inductive bias into neural text generation, where the dependency parse tree is used to drive the Transformer model to generate sentences iteratively. Our experiments show that this paradigm is effective at text generation, with quality between LSTMs and Transformers, and comparable diversity, requiring less than half their decoding steps, and its generation process allows direct control over the syntactic constructions of the generated text, enabling the induction of stylistic variations.

研究の動機と目的

• 系列長に比例してスケーリングする自己回帰的テキスト生成の非効率性に対処すること。
• 構文構造を活用して並列デコードを可能にする非自己回帰的生成パラダイムを導入すること。
• 生成テキストにおける構文構造の直接的制御を可能にし、スタイルの変化を実現すること。
• 大幅に減少したデコードステップ数を維持しつつ、高い生成品質と多様性を確保すること。
• バッチ処理とサブワードレベルのトークン化と互換性のある学習手法を開発すること。

提案手法

• 依存解析木の順序に従ってトークンを生成するように、トランスフォーマーに基づく言語モデルを学習する。根ノードから始まり、段階的に枝を拡張する。
• トレーニングおよびデコード中に非終端記号ノードを表すために、依存関係のプレースホルダを特別トークンとして使用する。
• 木の二分岐化を適用して依存木を二分木構造に変換し、複数の枝にわたる効率的な並列デコードを可能にする。
• 各トークン生成ステップがその構文的親および兄弟に情報に基づいて行われるように、モデルを依存構造に条件づける。
• 強化学習を用いずに、エンドツーエンドで完全に教師あり学習が可能な標準的なクロスエントロピー損失を用いる。
• デコード時にサブワードトークン化を依存木構造に統合することで、サブワードレベルの生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 依存解析木を用いて、高品質な滑らかさと一貫性を維持する非自己回帰的かつ並列デコードプロセスを実現できるか？
• RQ2 自己回帰的モデルと比較して、構文構造を活用することで、どの程度デコードステップ数を削減できるか、生成品質はどの程度維持されるか？
• RQ3 反復的拡張メカニズムにより、スタイルの変化を誘導する構文構造の直接的制御が可能か？
• RQ4 サブワードレベルのトークン化を用いた場合、生成テキストの多様性と滑らかさはどの程度か？
• RQ5 自動評価および人間評価の両方において、木ベースのデコード順序は自己回帰的トランスフォーマーやLSTMと比較して、より良いか同等のパフォーマンスを示すか？

主な発見

• 反復的拡張言語モデルは、自己回帰的モデルに比べて平均してデコードステップ数を45%にまで削減し、55%の高速化を達成した。
• トークンが非順序的かつ木順に生成される場合でも、生成テキストは高い滑らかさと構文的一致を維持した。
• 自動評価および人間評価の両方で、LSTMおよびトランスフォーマーと同等の生成品質が確認された。
• 生成テキストの多様性は、自己回帰的トランスフォーマーと同等であり、出力の多様性に顕著な劣化は認められなかった。
• 本手法はサブワードレベルのトークン化とバッチ学習をサポートしており、現代のNLPパイプラインにおける実用的導入を可能にする。
• 木構造のおかげで構文的制御が直接可能となり、生成テキストにスタイルの変化を誘導できるようになった。