[论文解读] Online Segment to Segment Neural Transduction

Lei Yu, Jan Buys+1 more|arXiv (Cornell University)|Sep 26, 2016

Topic Modeling参考文献 20被引用 9

一句话总结

本文提出了一种在线段对段神经转导模型（SSNT），通过将注意力权重视为潜在的序列变量，实现实时联合编码、解码和对齐输入与输出序列。通过在训练期间对齐路径进行精确的多项式边际化，并在解码期间对齐路径进行束搜索，SSNT在摘要生成和词形屈折任务上表现出色，且隐藏层大小显著小于标准编码器-解码器模型。

ABSTRACT

We introduce an online neural sequence to sequence model that learns to alternate between encoding and decoding segments of the input as it is read. By independently tracking the encoding and decoding representations our algorithm permits exact polynomial marginalization of the latent segmentation during training, and during decoding beam search is employed to find the best alignment path together with the predicted output sequence. Our model tackles the bottleneck of vanilla encoder-decoders that have to read and memorize the entire input sequence in their fixed-length hidden states before producing any output. It is different from previous attentive models in that, instead of treating the attention weights as output of a deterministic function, our model assigns attention weights to a sequential latent variable which can be marginalized out and permits online generation. Experiments on abstractive sentence summarization and morphological inflection show significant performance gains over the baseline encoder-decoders.

研究动机与目标

• 解决标准编码器-解码器模型中必须在生成任何输出前完成全部输入编码所带来的瓶颈问题。
• 通过引入潜在分割机制，实现在线、增量式的序列到序列生成。
• 在训练期间实现隐藏对齐路径的精确多项式时间边际化，克服确定性注意力机制的局限性。
• 在解码期间支持对齐路径的高效束搜索，实现实时推理。
• 证明对齐与生成的联合学习可提升性能，同时降低模型容量需求。

提出的方法

• 模型引入一个潜在对齐序列 $\boldsymbol{a}_{1}^{J}$，其中每个 $a_j = i$ 表示生成输出标记 $y_j$ 时模型关注的输入标记。
• 编码器和解码器RNN独立更新其隐藏状态，实现对输入和输出表示的独立建模。
• 模型使用动态规划在训练期间对所有可能的对齐序列进行精确边际化，避免近似计算。
• 在解码过程中，束搜索被应用于联合优化对齐路径与输出序列，实现在线生成。
• 注意力权重被视为序列潜在变量而非确定性函数，从而支持概率边际化。
• 该架构具有通用性，可集成到基于RNN的模型（如神经图灵机或记忆网络）中，以支持在线处理。

实验结果

研究问题

• RQ1 神经序列到序列模型是否能在不等待完整输入序列的情况下实现输出的增量生成？
• RQ2 如何在训练期间精确建模并边际化输入与输出序列之间的潜在对齐？
• RQ3 与标准编码器-解码器模型相比，对齐与生成的联合学习是否能在降低模型规模的同时提升性能？
• RQ4 模型读取前方输入的能力如何影响生成对齐的质量与直观性？
• RQ5 该模型是否能在在线设置和全输入设置下均优于基于注意力的基线模型？

主要发现

• SSNT模型在抽象句子摘要和词形屈折任务上显著优于标准编码器-解码器基线模型。
• 当使用双向编码器时，SSNT模型的表现优于基于注意力的基准模型，证明了其对齐机制的有效性。
• 尽管性能更优，SSNT模型所需的隐藏层大小远小于基线编码器-解码器模型。
• 定性分析表明，模型能够学习在生成每个输出标记前读取必要数量的输入标记，从而产生高度直观的对齐结果。
• 该模型在使用单向LSTM编码器时仍能实现在线生成，适用于实时应用场景。
• 通过动态规划实现边际化，结合束搜索进行解码，确保了高效且精确的推理过程，无需近似计算。