[论文解读] Long and Diverse Text Generation with Planning-based Hierarchical Variational Model

Shao Zhi-hong, Minlie Huang+3 more|arXiv (Cornell University)|Aug 19, 2019

Topic Modeling参考文献 46被引用 10

一句话总结

该论文提出了一种基于规划的分层变分模型（PHVM），通过将长文本和多样化文本生成任务分解为规划（将输入项分组为句子级聚类）和基于这些规划的分层生成，实现长文本生成。通过整合用于规划的全局潜在变量和用于句子实现的局部潜在变量，PHVM 提升了覆盖度、连贯性和表达多样性，在广告和食谱生成任务的自动评估与人工评估中均优于最先进基线模型。

ABSTRACT

Existing neural methods for data-to-text generation are still struggling to produce long and diverse texts: they are insufficient to model input data dynamically during generation, to capture inter-sentence coherence, or to generate diversified expressions. To address these issues, we propose a Planning-based Hierarchical Variational Model (PHVM). Our model first plans a sequence of groups (each group is a subset of input items to be covered by a sentence) and then realizes each sentence conditioned on the planning result and the previously generated context, thereby decomposing long text generation into dependent sentence generation sub-tasks. To capture expression diversity, we devise a hierarchical latent structure where a global planning latent variable models the diversity of reasonable planning and a sequence of local latent variables controls sentence realization. Experiments show that our model outperforms state-of-the-art baselines in long and diverse text generation.

研究动机与目标

• 为解决现有神经方法在生成长文本和多样化文本时的局限性，特别是对输入数据的动态建模能力不足以及句子间连贯性弱的问题。
• 在数据到文本生成中，超越低水平的表面形式变化，提升表达多样性。
• 通过输入数据的高层规划，将长文本生成建模为一系列相互依赖的句子生成子任务。
• 利用分层潜在结构，支持多样化的规划策略与句子实现方式。
• 在需要全面覆盖和逻辑组织的长文本生成任务上评估模型性能。

提出的方法

• 模型首先使用全局规划潜在变量规划输入项组的序列，将长文本生成任务分解为相互依赖的句子生成子任务。
• 每个句子基于其对应组和先前生成句子的上下文进行条件生成，从而提升句子间的连贯性。
• 采用分层变分自编码器（VAE）架构，其中全局潜在变量用于建模多样化的规划策略，局部潜在变量则控制句子级实现。
• 通过条件VAE训练，在规划和实现两个层面注入变化，从而生成多样且连贯的输出。
• 使用结构化表示编码输入数据，以支持动态注意力追踪和规划决策。
• 规划机制将输入项划分为若干组，每组作为单个句子内容的基础。

实验结果

研究问题

• RQ1 与端到端的序列到序列模型相比，基于规划的分层变分模型是否能提升长文本生成中的覆盖度与连贯性？
• RQ2 分层潜在结构在多大程度上能够捕捉同一输入的多样化规划策略与句子实现方式？
• RQ3 该模型在生成长篇、连贯且多样化的广告文本时，是否能实现全面的属性覆盖？
• RQ4 该模型能否泛化到其他数据到文本任务（如食谱生成），其中步骤连贯性和食材使用至关重要？
• RQ5 全局与局部潜在变量在保持流畅性与逻辑结构的同时，如何共同促进表达多样性？

主要发现

• 在广告文本生成任务中，PHVM 在自动评估与人工评估中均显著优于最先进基线模型，生成文本的平均质量得分为 4.27（满分 5 分）。
• 模型生成的文本中 79.0% 的质量得分高于 4.0，表明在多样化输入下输出保持了稳定的高质量表现。
• 规划结果的 Self-BLEU 得分为 43.37%，最终文本的 Self-BLEU 得分为 16.87%，证实了在规划与表面形式上均具有显著多样性。
• 在食谱生成任务中，PHVM 实现了更高的食材覆盖度，并减少了对通用短语（如 '所有食材'）的使用，优于基线模型。
• 随着输入规模增大，模型性能保持稳定，输入复杂度提高时生成了更多不同的规划结果；尽管在超过 12 个输入对后因数据稀疏性导致性能略有下降。
• 人工评估显示，PHVM 在语法正确性与连贯性方面显著优于基线模型，Fleiss’ kappa 值为 0.483，表明标注者之间达成中等程度的一致性。