[論文レビュー] Learning Neural Templates for Text Generation

Sam Wiseman, Stuart M. Shieber+1 more|arXiv (Cornell University)|Aug 30, 2018

Topic Modeling参考文献 48被引用数 8

ひとこと要約

本稿では、離散的で解釈可能なテキスト生成テンプレートとニューラルシーケンス生成を同時に学習するニューラル隠れ半マルコフモデル（HSMM）デコーダーを提案する。テンプレートを潜在構造としてモデル化することで、解釈可能性と制御性が向上し、実世界のテキスト生成タスクにおいて標準的なエンコーダ・デコーダモデルと同等のパフォーマンスを達成する。

ABSTRACT

While neural, encoder-decoder models have had significant empirical success in text generation, there remain several unaddressed problems with this style of generation. Encoder-decoder models are largely (a) uninterpretable, and (b) difficult to control in terms of their phrasing or content. This work proposes a neural generation system using a hidden semi-markov model (HSMM) decoder, which learns latent, discrete templates jointly with learning to generate. We show that this model learns useful templates, and that these templates make generation both more interpretable and controllable. Furthermore, we show that this approach scales to real data sets and achieves strong performance nearing that of encoder-decoder text generation models.

研究の動機と目的

• ブラックボックスなニューラルエンコーダ・デコーダテキスト生成モデルにおける解釈可能性と制御性の欠如に対処すること。
• テキスト生成をガイドする離散的でテンプレートに似た構造をデータ駆動で学習する手法を開発すること。
• 学習可能で解釈可能なテンプレートを通じて、生成テキストの内容と表現の明示的制御を可能にすること。
• 標準的なニューラルシーケンスモデルと同等のパフォーマンスを維持しながら、実世界のデータセットへスケーリングすること。

提案手法

• モデルは、トレーニング中に潜在的で離散的なテンプレートを学習するため、ニューラル隠れ半マルコフモデル（HSMM）デコーダーを用いる。
• 各テンプレートは、複数の可能な表面的実現を持つセグメントから構成され、言語的ばらつきを許容する。
• デコーディング中に、コピーアテンションを用いてテンプレートのスロットをソースコンテンツで埋める。
• 推論を通じたバックプロパゲーションにより、テンプレート構造と生成の両方をエンドツーエンド最適化する。
• 微分可能推論プロセスを用いて、テンプレート発見とスムーズなテキスト生成の両方を同時に最適化する。
• 構造的で学習可能なテンプレートを通じて、コンテンツ選択と表面的実現の両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルは、手動設計なしに解釈可能な離散的テンプレートを学習できるか？
• RQ2 生成と同時にテンプレートを学習することで、内容や表現の制御性が向上するか？
• RQ3 このようなシステムは、実世界のテキスト生成タスクにおいて、標準的なエンコーダ・デコーダモデルと同等のパフォーマンスを達成できるか？
• RQ4 学習されたテンプレートは、多様な入力知識ベースに対してどれほど一般化できるか？
• RQ5 ブラックボックスなニューラル生成と比較して、テンプレートベースのアプローチは解釈性をどの程度向上させるか？

主な発見

• モデルは、データ内の言語的・構造的パターンを反映する意味のある解釈可能なテンプレートを学習する。
• 学習されたテンプレートを用いた生成テキストは、表現や内容構成における制御性が向上している。
• E2E や WikiBio といったベンチマークデータセットにおいて、標準的なエンコーダ・デコーダモデルと同等に近い生成パフォーマンスを達成する。
• ニューラルHSMMは、自然な言語的単位と整合する階層的・セグメントベースの構造を効果的に発見する。
• テンプレートと生成コンポonentの両方の共同最適化を可能にする、効果的な推論を通じたバックプロパゲーションが実現される。
• 実験的結果から、実世界のNLGタスクにおいて、強力なベースラインを上回るテンプレートの質と生成のなめらかさを達成している。