[论文解读] Learning to Start for Sequence to Sequence Architecture

Qingfu Zhu, Weinan Zhang+2 more|arXiv (Cornell University)|Aug 19, 2016

Topic Modeling参考文献 24被引用 9

一句话总结

本文提出了一种用于序列到序列模型的可学习首个词生成机制，用基于词汇表的上下文感知概率分布替代固定的起始符号。通过利用编码器状态和词嵌入，该方法提升了响应生成质量，在短文本对话任务的自动评估与人工评估中均取得了最先进结果。

ABSTRACT

The sequence to sequence architecture is widely used in the response generation and neural machine translation to model the potential relationship between two sentences. It typically consists of two parts: an encoder that reads from the source sentence and a decoder that generates the target sentence word by word according to the encoder's output and the last generated word. However, it faces to the cold start problem when generating the first word as there is no previous word to refer. Existing work mainly use a special start symbol to generate the first word. An obvious drawback of these work is that there is not a learnable relationship between words and the start symbol. Furthermore, it may lead to the error accumulation for decoding when the first word is incorrectly generated. In this paper, we proposed a novel approach to learning to generate the first word in the sequence to sequence architecture rather than using the start symbol. Experimental results on the task of response generation of short text conversation show that the proposed approach outperforms the state-of-the-art approach in both of the automatic and manual evaluations.

研究动机与目标

• 解决序列到序列模型中的‘冷启动’问题，即首个词缺乏前序标记进行条件控制。
• 克服使用固定起始符号（$<$ /s $>$）的局限性，该符号不学习与目标词的条件关系。
• 通过直接从源上下文和词表示学习预测首个词，提升生成质量并减少错误传播。
• 开发一种可泛化的框架，适用于对话生成之外的其他序列到序列任务。

提出的方法

• 用基于编码器最终隐藏状态预测首个词的可学习机制替代标准起始符号。
• 通过计算编码器最终状态与每个词嵌入之间的兼容性得分，构建词汇表上的概率分布。
• 使用参数化函数将编码器最终隐藏状态映射到词表上的分布，选择得分最高的词作为首个输出。
• 将此首个词预测机制集成到标准解码器架构中，保持使用交叉熵损失的端到端训练。
• 同时利用源序列表示（来自编码器状态）和词嵌入矩阵，建模首个词的条件概率。
• 使用标准序列到序列目标函数进行端到端训练，使首个词生成与后续解码过程联合优化。

实验结果

研究问题

• RQ1 可学习的首个词生成机制是否在序列到序列模型中优于使用固定起始符号？
• RQ2 用上下文感知的可学习预测替代起始符号，是否能提升对话生成任务中的生成质量？
• RQ3 所提方法在多大程度上减少了解码过程中首个词的错误传播？
• RQ4 所提方法是否可泛化至对话生成之外的其他序列到序列应用？

主要发现

• 所提方法在短文本响应生成任务的自动评估与人工评估指标上均优于最先进基线模型。
• 人工评估显示，所提模型（LTS）的平均得分为0.590，而基线模型（HYB）为0.510，表明响应质量有所提升。
• 与基线（kappa = 0.230）相比，所提模型在标注者之间的一致性更高（kappa = 0.206），表明输出更一致且可靠。
• 该模型在首个词预测方面表现出更高的多样性与准确性，减少了对固定起始符号的依赖。
• 该方法具有可泛化性，适用于对话生成之外的其他序列到序列任务。
• 消融研究证实，所学习的首个词生成机制对整体性能提升有显著贡献。