[论文解读] Learning Neural Templates for Text Generation

Sam Wiseman, Stuart M. Shieber+1 more|arXiv (Cornell University)|Aug 30, 2018

Topic Modeling参考文献 48被引用 8

一句话总结

本文提出了一种神经隐半马尔可夫模型（HSMM）解码器，该解码器在训练过程中联合学习离散的、可解释的文本生成模板与神经序列生成。通过将模板建模为潜在结构，该方法在保持与标准编码器-解码器模型相当性能的同时，提升了可解释性与可控性。

ABSTRACT

While neural, encoder-decoder models have had significant empirical success in text generation, there remain several unaddressed problems with this style of generation. Encoder-decoder models are largely (a) uninterpretable, and (b) difficult to control in terms of their phrasing or content. This work proposes a neural generation system using a hidden semi-markov model (HSMM) decoder, which learns latent, discrete templates jointly with learning to generate. We show that this model learns useful templates, and that these templates make generation both more interpretable and controllable. Furthermore, we show that this approach scales to real data sets and achieves strong performance nearing that of encoder-decoder text generation models.

研究动机与目标

• 解决黑箱神经编码器-解码器文本生成模型中可解释性与可控性不足的问题。
• 开发一种数据驱动的方法，用于学习离散的、类似模板的结构，以指导神经文本生成。
• 通过可学习的、可解释的模板，实现对生成文本内容与表达方式的显式控制。
• 在保持接近标准神经序列模型性能的同时，将该方法扩展至真实世界数据集。

提出的方法

• 该模型使用神经隐半马尔可夫模型（HSMM）解码器，在训练过程中学习潜在的离散模板。
• 每个模板由多个可选的表面实现形式组成，从而支持语言上的多样性。
• 系统在解码过程中使用复制注意力机制，将源内容填入模板槽位。
• 通过推理过程的反向传播进行训练，实现模板结构与生成过程的端到端优化。
• 通过可微分的推理过程，联合优化模板发现与流畅的文本生成。
• 该方法通过结构化、可学习的模板，同时支持内容选择与表面实现。

实验结果

研究问题

• RQ1 神经模型能否在无需人工设计的情况下，学习到可解释的、离散的模板以指导文本生成？
• RQ2 在生成过程中联合学习模板是否能提升对内容与表达方式的控制能力？
• RQ3 该系统在真实世界文本生成任务上能否实现与标准编码器-解码器模型相当的性能？
• RQ4 所学习的模板在多样化的输入知识库上泛化能力如何？
• RQ5 与黑箱神经生成方法相比，基于模板的方法在可解释性方面提升了多少？

主要发现

• 该模型学习到了具有意义且可解释的模板，能够反映数据中的语言与结构模式。
• 使用所学模板生成的文本在表达方式与内容构成方面表现出更强的可控性。
• 该方法在E2E与WikiBio等基准数据集上的生成性能接近标准编码器-解码器模型。
• 神经HSMM成功发现了与自然语言单位对齐的分层、基于片段的结构。
• 该方法实现了有效的反向传播通过推理过程，从而实现模板与生成组件的联合优化。
• 实证结果表明，该模型在真实世界NLG任务中，于模板质量与生成流畅性方面均优于强基线模型。