[论文解读] Order-Planning Neural Text Generation From Structured Data

Lei Sha, Lili Mou+5 more|arXiv (Cornell University)|Sep 1, 2017

Natural Language Processing Techniques被引用 13

一句话总结

本文提出了一种用于表格到文本生成的顺序规划神经文本生成模型，通过使用混合内容-链接注意力机制显式建模表格字段的序列，从而提升生成文本的流畅性。该模型在WikiBio数据集上优于先前方法，在BLEU、ROUGE和NIST得分上达到最先进水平，其通过受DNC记忆寻址启发的可微链接矩阵学习最优内容排序。

ABSTRACT

Generating texts from structured data (e.g., a table) is important for various natural language processing tasks such as question answering and dialog systems. In recent studies, researchers use neural language models and encoder-decoder frameworks for table-to-text generation. However, these neural network-based approaches do not model the order of contents during text generation. When a human writes a summary based on a given table, he or she would probably consider the content order before wording. In a biography, for example, the nationality of a person is typically mentioned before occupation in a biography. In this paper, we propose an order-planning text generation model to capture the relationship between different fields and use such relationship to make the generated text more fluent and smooth. We conducted experiments on the WikiBio dataset and achieve significantly higher performance than previous methods in terms of BLEU, ROUGE, and NIST scores.

研究动机与目标

• 为解决神经文本生成从结构化数据中缺乏显式内容排序的问题，该问题导致生成结果不够流畅且不像人类语言。
• 建模表格字段之间的关系依赖（例如传记中‘国籍’在‘职业’之前），以指导连贯的文本生成。
• 通过学习一种规划机制来确定生成过程中字段提及的顺序，从而提升文本的流畅性与连贯性。
• 整合一种可微分、端到端可训练的机制，将基于内容的注意力与学习到的字段间转移链接相结合。
• 通过在规划框架中引入复制机制，提升模型对罕见或未见词汇的生成能力。

提出的方法

• 模型使用基于LSTM的编码器将字段名称和内容值作为序列输入进行嵌入，以捕捉表格结构。
• 混合调度器机制通过结合基于内容的注意力与源自字段间学习到的转移矩阵的基于链接的注意力来计算注意力。
• 链接矩阵用于建模一个字段在另一个字段之后被提及的可能性，模拟人类的文本规划行为。
• 自适应门动态平衡基于内容和基于链接的注意力得分，以指导下一个字段的生成。
• 解码器使用带有指针-生成注意力机制和复制机制的RNN，通过从输入表格中复制来处理罕见或OOV词汇。
• 整个模型是可微分的，支持规划（字段顺序）与实现（词语生成）组件的端到端训练。

实验结果

研究问题

• RQ1 在表格到文本生成中显式建模字段顺序是否能提升生成文本的流畅性与连贯性？
• RQ2 与朴素字段嵌入相比，学习到的字段间链接矩阵在生成质量方面表现如何？
• RQ3 将基于内容和基于链接的注意力相结合，在文本生成基准上能多大程度上提升性能？
• RQ4 复制机制的整合是否增强了模型处理输出中罕见或未见词汇的能力？
• RQ5 所提模型中的注意力模式在多大程度上反映了人类在文本生成中的规划行为？

主要发现

• 所提出的顺序规划模型在WikiBio数据集上达到最先进性能，优于先前方法，在BLEU、ROUGE和NIST得分上均表现更优。
• 消融实验表明，混合注意力机制与复制机制均对性能提升有显著贡献。
• 基于链接的注意力机制有效学习了字段间的转移模式，例如在传记中将‘国籍’置于‘职业’之前。
• 注意力得分的可视化显示，模型学习到根据语义关系而非输入顺序来优先选择字段。
• 该模型在多样化的传记条目中表现稳健，持续提升流畅性与事实一致性。
• 带有自适应门的混合注意力机制优于纯基于内容或纯基于链接的注意力策略。