[论文解读] Investigating Linguistic Pattern Ordering in Hierarchical Natural Language Generation

Shang‐Yu Su, Yun-Nung Chen|arXiv (Cornell University)|Sep 19, 2018

Topic Modeling参考文献 20被引用 4

一句话总结

本文提出一种分层注意力解码器用于自然语言生成（NLG），通过根据词性（POS）标签对语言模式解码顺序进行排序，提升序列生成性能。通过将词生成解耦为分阶段的层（每层负责特定词性集合），该模型在标准序列到序列（seq2seq）模型基础上实现显著性能提升，即使模型参数量更小，使用课程学习方法仍可实现最高102.07%的BLEU提升。该方法表明，生成顺序对性能有显著影响，应依据数据集特有的语言结构进行引导。

ABSTRACT

Natural language generation (NLG) is a critical component in spoken dialogue system, which can be divided into two phases: (1) sentence planning: deciding the overall sentence structure, (2) surface realization: determining specific word forms and flattening the sentence structure into a string. With the rise of deep learning, most modern NLG models are based on a sequence-to-sequence (seq2seq) model, which basically contains an encoder-decoder structure; these NLG models generate sentences from scratch by jointly optimizing sentence planning and surface realization. However, such simple encoder-decoder architecture usually fail to generate complex and long sentences, because the decoder has difficulty learning all grammar and diction knowledge well. This paper introduces an NLG model with a hierarchical attentional decoder, where the hierarchy focuses on leveraging linguistic knowledge in a specific order. The experiments show that the proposed method significantly outperforms the traditional seq2seq model with a smaller model size, and the design of the hierarchical attentional decoder can be applied to various NLG systems. Furthermore, different generation strategies based on linguistic patterns are investigated and analyzed in order to guide future NLG research work.

研究动机与目标

• 为解决标准seq2seq模型在同时学习语法与词汇时难以生成复杂、长句的问题。
• 探究在分层解码框架中，语言模式生成顺序（如词性标签序列）对NLG性能的影响。
• 设计一种可泛化的分层解码器架构，在不增加模型大小的前提下提升生成质量。
• 为基于数据集特定特征（如子序列长度和句法结构）选择有效语言模式顺序提供实证指导。

提出的方法

• 模型采用序列到序列架构，使用双向GRU编码器将语义输入编码为潜在表示。
• 引入分层解码器，其中每一层负责生成特定词性标签集合中的词，实现分阶段、结构化的生成过程。
• 在每个解码器层中应用注意力机制，以关注相关编码器状态和先前解码输出，提升对齐精度与上下文感知能力。
• 通过将词性标签按特定顺序组织为生成阶段序列来设计解码层次结构，模型被训练为按此特定顺序生成词。
• 通过先在更简单、更短的子序列上进行训练，逐步增加复杂度，应用课程学习以提升训练稳定性。
• 在多个生成层次上评估模型，以分析顺序对性能的影响，并对注意力机制和重复输入机制进行消融实验。

实验结果

研究问题

• RQ1 语言模式生成顺序（如词性标签序列）如何影响分层NLG模型的性能？
• RQ2 具有分阶段生成能力的分层解码器是否能在生成复杂和长句方面超越标准seq2seq模型？
• RQ3 课程学习在提升分层NLG中训练效率与生成质量方面发挥何种作用？
• RQ4 数据集特定属性（如子序列长度分布与句法结构）如何影响最优生成顺序？
• RQ5 分层解码器架构是否具有跨不同NLG系统的泛化能力，还是对所选语言模式层次结构高度敏感？

主要发现

• 将标准seq2seq解码器替换为分层解码器可带来显著性能提升：平均BLEU提升49.25%，ROUGE-1提升30.03%，ROUGE-2提升96.48%，ROUGE-L提升25.99%。
• 在性能最佳的层次结构上应用课程学习，可实现102.07%的BLEU提升，ROUGE-1提升48.26%，ROUGE-2提升144.8%，ROUGE-L提升39.18%。
• 表现最差的层次结构——先生成动词，再生成名词/专有名词/代词，最后生成形容词/副词——因工作负载严重失衡而失败，第二层平均需在3.62个词的基序列中插入多达8个词。
• 先插入副词再生成动词可获得更好性能，因为副词常修饰形容词，而过早生成动词会因上下文不足导致副词位置难以准确插入。
• 注意力机制并非始终能提升性能，因为分层结构已提供明确的位置与结构引导，降低了对隐式注意力的依赖。
• 最优生成层次结构并非通用；其选择取决于数据集特定因素，如子序列长度分布与词性标签的句法角色。