[论文解读] Controlling Output Length in Neural Encoder-Decoders

Yuta Kikuchi, Graham Neubig+3 more|arXiv (Cornell University)|Sep 30, 2016

Topic Modeling参考文献 38被引用 43

一句话总结

本文提出了四种方法——两种基于解码的方法和两种基于学习的方法——用于控制神经编码器-解码器模型中的输出序列长度，特别针对句子摘要任务。基于学习的方法（$ frac{LenEmb}$ 和 $ frac{LenInit}$）能有效将输出长度约束在目标范围内，且不降低 ROUGE 得分，在生成较长摘要时优于基于解码的方法，同时在标准基准测试中保持了具有竞争力的性能。

ABSTRACT

Neural encoder-decoder models have shown great success in many sequence generation tasks. However, previous work has not investigated situations in which we would like to control the length of encoder-decoder outputs. This capability is crucial for applications such as text summarization, in which we have to generate concise summaries with a desired length. In this paper, we propose methods for controlling the output sequence length for neural encoder-decoder models: two decoding-based methods and two learning-based methods. Results show that our learning-based methods have the capability to control length without degrading summary quality in a summarization task.

研究动机与目标

• 解决神经编码器-解码器模型在序列生成任务中缺乏显式长度控制的问题。
• 使摘要系统能够生成指定长度的输出，这对文档摘要和标题生成等应用至关重要。
• 评估是否可以在不降低摘要质量（特别是 ROUGE 得分）的前提下实现长度控制。
• 比较基于解码与基于学习的方法在长度控制方面的有效性与鲁棒性。
• 证明所提出的方法在标准 DUC2004 基准测试中保持了具有竞争力的性能，同时实现了可控的输出长度。

提出的方法

• 两种基于解码的方法（$\mathit{fixLen}$ 和 $\mathit{fixRng}$）在推理过程中通过将候选序列长度约束在目标范围内，修改束搜索（beam search）过程。
• 两种基于学习的方法（$\mathit{LenEmb}$ 和 $\mathit{LenInit}$）通过修改模型架构，使解码器基于表示期望输出长度的已学习嵌入向量或初始化向量进行条件生成。
• $\mathit{LenEmb}$ 在每个解码步骤将目标长度的已学习嵌入向量注入解码器的隐藏状态。
• $\mathit{LenInit}$ 使用一个编码了期望长度的已学习向量来初始化解码器的隐藏状态。
• 所有模型均使用标准序列到序列目标函数和交叉熵损失进行训练，而基于学习的模型则联合优化以预测输出序列及其长度。
• 通过施加长度约束的束搜索评估长度控制效果，性能使用 ROUGE-1、ROUGE-2 和 ROUGE-L 指标进行衡量。

实验结果

研究问题

• RQ1 神经编码器-解码器模型是否可以被有效修改以生成指定长度的输出？
• RQ2 与基于解码的替代方法相比，基于学习的长度控制方法在长度准确性和摘要质量方面是否表现更优？
• RQ3 在标准摘要基准测试（如 DUC2004）中，引入长度控制是否会降低性能？
• RQ4 所提出的方法在控制长摘要（例如 50–75 字节）与短摘要方面表现如何比较？
• RQ5 模型是否能在实现精确长度控制的同时保持较高的 ROUGE 得分？

主要发现

• 基于学习的方法 $\mathit{LenEmb}$ 和 $\mathit{LenInit}$ 成功使生成序列的输出长度集中在目标值附近，如生成序列的直方图所示。
• $\mathit{LenEmb}$ 在 DUC2004 基准测试中实现了 23.88 的 ROUGE-L 得分，优于标准基线模型（$\mathit{fixLen}$），并与最先进模型相当。
• $\mathit{LenInit}$ 实现了 23.25 的 ROUGE-L 得分，与标准模型和现有方法相当，同时保持了强大的长度控制能力。
• 对于长摘要（例如 50–75 字节），基于学习的方法在长度准确性和一致性方面显著优于基于解码的方法。
• $\mathit{LenInit}$ 的束搜索结果表明，所有候选输出均接近目标长度（30 字节），证实了有效的长度控制。
• 尽管增加了长度控制的复杂性，所提出的方法仍保持了具有竞争力的 ROUGE 得分，表明摘要质量未出现下降。