[论文解读] Hierarchical Text Generation using an Outline

Mehdi Drissi, Olivia Watkins+1 more|arXiv (Cornell University)|Oct 20, 2018

Topic Modeling参考文献 2被引用 8

一句话总结

本文提出了一种分层文本生成框架，首先通过抽取式摘要生成大纲，然后基于该大纲进行全文生成。尽管该方法显著提升了困惑度，但并未提升人工评分的质量，揭示了文本生成评估中自动指标与人类感知之间存在关键脱节。

ABSTRACT

Many challenges in natural language processing require generating text, including language translation, dialogue generation, and speech recognition. For all of these problems, text generation becomes more difficult as the text becomes longer. Current language models often struggle to keep track of coherence for long pieces of text. Here, we attempt to have the model construct and use an outline of the text it generates to keep it focused. We find that the usage of an outline improves perplexity. We do not find that using the outline improves human evaluation over a simpler baseline, revealing a discrepancy in perplexity and human perception. Similarly, hierarchical generation is not found to improve human evaluation scores.

研究动机与目标

• 为解决长文本生成中保持连贯性的问题，提出一种基于大纲的分层方法。
• 探究使用大纲是否能提升生成文本的质量与连贯性，相较于标准自回归模型。
• 评估自动指标（如困惑度）与人工判断在文本生成质量评估中的差异。
• 探索利用抽取式摘要生成长文本生成结构大纲的可行性与局限性。

提出的方法

• 该模型采用两阶段生成流程：首先通过抽取式摘要生成简洁的大纲，然后基于该大纲生成完整文章。
• 大纲通过将目标文本应用简单抽取式摘要方法生成，作为结构支架。
• 使用带有分层注意力机制的序列到序列模型生成完整文章，条件基于大纲嵌入。
• 该模型采用一种注意力机制，同时关注词级和句级表示，以提升上下文保留能力。
• 困惑度作为主要自动化指标用于评估生成质量，而人工评估则关注流畅性与连贯性。
• 该方法在两个数据集上进行评估，并通过消融实验比较了有大纲与无大纲的分层生成效果。

实验结果

研究问题

• RQ1 使用大纲的分层文本生成是否能提升困惑度等自动评估指标？
• RQ2 使用大纲是否能提升人工评分中对连贯性与流畅性的评价？
• RQ3 当大纲生成质量较差时，分层模型的主要失败模式是什么？
• RQ4 在长文本生成任务中，分层注意力与标准注意力相比表现如何？
• RQ5 模型对大纲的依赖程度在多大程度上影响其生成多样化与准确内容的能力？

主要发现

• 采用大纲条件的分层模型显著提升了困惑度，表明语言建模性能更优。
• 尽管困惑度提升，但模型在人工评估中未获得更高分数，揭示了自动指标与人类感知之间的脱节。
• 当大纲生成模块产生低质量或不连贯的大纲时，观察到一个主要失败模式，该问题被主模型进一步放大。
• 即使单个句子局部连贯，模型仍表现出明显的冗余与重复，尤其在生成文章末尾部分。
• 分层注意力在两个数据集上均带来了微小但可测量的困惑度改善，与以往研究中未见一致增益的情况不同。
• 本研究表明，当前的自动指标（如困惑度）可能无法可靠预测人工评分的质量，呼吁在文本生成中开发更优的评估指标。