[論文レビュー] Long and Diverse Text Generation with Planning-based Hierarchical Variational Model

Shao Zhi-hong, Minlie Huang+3 more|arXiv (Cornell University)|Aug 19, 2019

Topic Modeling参考文献 46被引用数 10

ひとこと要約

この論文では、入力アイテムを文単位のクラスタにグループ化する計画（planning）と、その計画に従った階層的生成という2段階に分けたタスクに分解することで、長文かつ多様なテキスト生成を実現する、計画に基づく階層的変分モデル（PHVM）を提案する。グローバルおよびローカルの潜在変数を用いて計画と文の実現を統合することで、カバレッジ、一貫性、表現の多様性が向上し、広告およびレシピ生成タスクにおける自動評価および人的評価の両面で最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Existing neural methods for data-to-text generation are still struggling to produce long and diverse texts: they are insufficient to model input data dynamically during generation, to capture inter-sentence coherence, or to generate diversified expressions. To address these issues, we propose a Planning-based Hierarchical Variational Model (PHVM). Our model first plans a sequence of groups (each group is a subset of input items to be covered by a sentence) and then realizes each sentence conditioned on the planning result and the previously generated context, thereby decomposing long text generation into dependent sentence generation sub-tasks. To capture expression diversity, we devise a hierarchical latent structure where a global planning latent variable models the diversity of reasonable planning and a sequence of local latent variables controls sentence realization. Experiments show that our model outperforms state-of-the-art baselines in long and diverse text generation.

研究の動機と目的

• 既存のニューラル手法が長文かつ多様なテキスト生成において抱える限界、特に入力データの動的モデリングの不足と文間の一貫性の弱さを是正すること。
• 低レベルの表層的変化を超えて、データからテキスト生成における表現の多様性を向上させること。
• 入力データの高レベルな計画を通じて、長文生成を依存関係のある文生成サブタスクの系列としてモデル化すること。
• 階層的潜在構造を用いて、多様な計画戦略と文の実現を可能にすること。
• 包括的なカバレッジと論理的な構成を要する長文生成タスクにおいて、モデルの評価を実施すること。

提案手法

• モデルはまず、グローバルな計画用潜在変数を用いて入力アイテムのグループ化のシーケンスを計画し、長文生成を依存関係のある文生成タスクに分解する。
• 各文は、対応するグループと、以前に生成された文の文脈に条件付けられて生成され、文間の一貫性が向上する。
• 階層的変分オートエンコーダ（VAE）アーキテクチャを用い、グローバルな潜在変数が多様な計画戦略をモデリングし、ローカルな潜在変数が文単位の実現を制御する。
• 条件付きVAE学習を採用することで、計画および実現の両レベルにばらつきを注入し、多様かつ一貫性のある出力を可能にする。
• 動的アテンションの追跡と計画意思決定を支援する構造化された表現を用いて、入力データを符号化する。
• 計画メカニズムは入力アイテムをグループに分割し、各グループが1文分の内容の根拠となる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのシーケンス・ツー・シーケンスモデルと比較して、計画に基づく階層的変分モデルは、長文生成におけるカバレッジと一貫性を向上させることができるか？
• RQ2 同じ入力に対して、階層的潜在構造が多様な計画戦略と文の実現をどの程度捉えることができるか？
• RQ3 包括的な属性カバレッジを要する広告テキスト生成において、本モデルは長文で一貫性があり多様な出力を生成できるか？
• RQ4 ステップの一貫性と材料の使用が重要なレシピ生成などの他のデータからテキスト生成タスクにも一般化可能か？
• RQ5 グローバルおよびローカルな潜在変数は、文法的正確性と論理的構造を維持したまま、表現の多様性にどのように寄与するか？

主な発見

• PHVMは、広告テキスト生成タスクにおいて、自動評価および人的評価の両面で最先端のベースラインを顕著に上回り、生成テキストの平均品質スコアが5段階スケールで4.27を記録した。
• 生成テキストの79.0％が4.0以上のスコアを獲得しており、多様な入力に対しても一貫した高品質な出力を示した。
• 計画結果の自己BLEUスコアが43.37％、最終出力の自己BLEUスコアが16.87％であったことから、計画段階および表層形の両方で顕著な多様性が確認された。
• レシピ生成タスクでは、与えられた材料のカバレッジが高く、『すべての材料』のような一般的な表現の使用がベースラインより減少した。
• 入力サイズの増加に対しても高い性能を維持し、入力の複雑さが高まるにつれてより多様な計画結果を生成したが、12個を超える入力ペair以降はデータスパarsityの影響でわずかに性能が低下した。
• 人的評価では、文法的正確性と一貫性の面でベースラインを顕著に上回り、Fleiss’ kappaが0.483と中程度の評価者間一致を示した。