[论文解读] Data-to-Text Generation with Style Imitation

Shuai Lin, Wentao Wang+5 more|arXiv (Cornell University)|Jan 28, 2019

Topic Modeling参考文献 55被引用 7

一句话总结

该论文提出了一种神经方法用于数据到文本生成，通过使用'软'模板模仿给定例句的写作风格，避免了刚性模板约束。通过结合混合注意力-复制机制与弱监督下的内容覆盖约束，模型在餐厅和体育领域均实现了强大的内容保真度与风格控制，在自动评估和人工评估中均优于基线模型。

ABSTRACT

Recent neural approaches to data-to-text generation have mostly focused on improving content fidelity while lacking explicit control over writing styles (e.g., word choices, sentence structures). More traditional systems use templates to determine the realization of text. Yet manual or automatic construction of high-quality templates is difficult, and a template acting as hard constraints could harm content fidelity when it does not match the record perfectly. We study a new way of stylistic control by using existing sentences as soft templates. That is, the model learns to imitate the writing style of any given exemplar sentence, with automatic adaptions to faithfully describe the content record. The problem is challenging due to the lack of parallel data. We develop a neural approach that includes a hybrid attention-copy mechanism, learns with weak supervisions, and is enhanced with a new content coverage constraint. We conduct experiments in restaurants and sports domains. Results show our approach achieves stronger performance than a range of comparison methods. Our approach balances well between content fidelity and style control given exemplars that match the records to varying degrees.

研究动机与目标

• 为解决神经数据到文本生成中缺乏细粒度风格控制的问题，即模型常常无法模仿特定写作风格（如词汇选择或句式结构）。
• 克服传统硬模板的局限性，这些模板需要人工创建，并在内容不匹配时降低生成灵活性。
• 使用任意例句作为'软'模板实现风格模仿，即使例句与输入数据记录不完全匹配。
• 开发一种方法，在无需并行（记录，例句，目标）训练数据的情况下，平衡内容保真度与风格体现。
• 通过从大量记录-描述对中学习弱监督信号，而非依赖完全并行的数据，提升生成质量。

提出的方法

• 该模型采用混合注意力-复制机制，分别关注来自数据记录的内容和来自例句的风格，实现对事实性内容与风格模式的差异化处理。
• 采用弱监督学习方法，仅利用记录-描述对，通过记录与其参考描述之间的对齐关系推导监督信号。
• 提出一种新颖的内容覆盖约束，确保数据记录中的所有关键内容槽在生成文本中都被明确覆盖，从而提升保真度。
• 该架构结合编码器-解码器框架与复制机制，允许从例句中选择性地复制短语，并根据记录内容进行适应性调整。
• 模型通过交叉熵损失进行端到端训练，结合基于注意力的监督，其中注意力权重受内容覆盖约束引导。
• 评估了LSTM和Transformer两种架构，LSTM变体表现略优，因其复制机制更强。

实验结果

研究问题

• RQ1 神经模型能否在不依赖硬模板或并行（记录，例句，目标）数据的情况下，有效模仿给定例句的写作风格？
• RQ2 当例句与数据记录不完全匹配时，模型在内容保真度与风格模仿之间能否保持良好平衡？
• RQ3 内容覆盖约束对提升生成内容的覆盖度与风格保留程度有何影响？
• RQ4 混合注意力-复制机制在同时处理风格与内容方面，与标准注意力或复制机制相比表现如何？
• RQ5 在缺乏并行（记录，例句，目标）三元组的情况下，来自记录-描述对的弱监督在多大程度上能实现有效的风格模仿？

主要发现

• 在NBA数据集上，与槽填充基线相比，该模型在内容精确度上提升16.3分，内容%Excl.-old提升12.9分，同时保持超过80的风格m-BLEU得分。
• 在餐厅数据集上，该模型在内容保真度与风格体现之间实现了最佳平衡，在人工评估中以超过50%的偏好胜率超越所有基线。
• 内容覆盖约束在两个数据集上均持续提升了内容与风格的表现，证明其在引导生成方面的有效性。
• 即使例句与数据记录不匹配，模型仍保持稳定性能，显示出对例句-记录对齐程度差异的鲁棒性。
• 人工评估确认，该模型在内容保真度（5分制得4.2分）上得分最高，同时具备较强的流畅性（4.1分）与风格体现能力（4.0分），显著优于次优方法。