[论文解读] Generating Text from Structured Data with Application to the Biography Domain.

Rémi Lebret, David Grangier+1 more|arXiv (Cornell University)|Mar 24, 2016

Topic Modeling参考文献 39被引用 34

一句话总结

该论文提出了一种神经概念到文本生成模型，通过将固定词汇表与复制机制相结合，以处理大规模、多样化的传记数据集。在包含70万条多样化传记、词汇表规模达40万的维基百科数据集上，该模型相比经典的Kneser-Ney语言模型提升了15个BLEU分数。

ABSTRACT

This paper introduces a neural model for concept-to-text generation that scales to large, rich domains. We experiment with a new dataset of biographies from Wikipedia that is an order of magni- tude larger than existing resources with over 700k samples. The dataset is also vastly more diverse with a 400k vocab- ulary, compared to a few hundred words for Weathergov or Robocup. Our model builds upon recent work on conditional neural language model for text genera- tion. To deal with the large vocabulary, we extend these models to mix a fixed vocabulary with copy actions that trans- fer sample-specific words from the in- put database to the generated output sen- tence. Our neural model significantly out- performs a classical Kneser-Ney language model adapted to this task by nearly 15 BLEU.

研究动机与目标

• 解决从大规模、结构化的传记数据中生成高质量、多样化文本的挑战。
• 将神经文本生成技术扩展到词汇量庞大、多样性高的丰富领域，超越以往小规模、领域特定的数据集。
• 在低资源、高变异性文本生成任务中，提升生成质量，超越经典语言模型。
• 开发一种可扩展的神经架构，整合复制机制，从输入数据库中提取领域特定词汇。

提出的方法

• 通过将固定词汇表与复制动作相结合，扩展条件神经语言模型以处理大规模词汇表。
• 复制动作可将样本特异的词汇直接从输入数据库传递到生成的输出句子中。
• 该架构在包含超过70万条样本的大规模维基百科传记数据集上进行训练。
• 模型使用带有注意力机制的神经序列生成方法，基于结构化输入特征来条件化输出。
• 采用混合生成策略：从固定词汇表中预测，或从输入数据中复制。

实验结果

研究问题

• RQ1 神经文本生成模型能否有效扩展到像传记这样词汇丰富、多样性高的大规模领域？
• RQ2 在大规模、分布外的数据集上，引入复制机制在多大程度上提升了生成质量？
• RQ3 在低资源、高变异性文本生成任务中，所提出的模型相比经典语言模型的性能提升程度如何？
• RQ4 大规模、多样化训练数据对神经文本生成性能有何影响？

主要发现

• 所提出的神经模型在相同任务上相比经典Kneser-Ney语言模型提升了15个BLEU分数。
• 该模型有效处理了40万词汇量，远超以往数据集（如Weathergov或Robocup）中常见的数百词汇规模。
• 复制机制的使用使得模型能够从输入数据库中准确生成罕见或领域特定的专有名词。
• 该模型在包含超过70万条样本的大规模、多样化传记数据集上展现出强大的泛化能力。