[论文解读] Cseq2seq: Cyclic Sequence-to-Sequence Learning

Biao Zhang, Deyi Xiong+1 more|arXiv (Cornell University)|Jul 29, 2016

Natural Language Processing Techniques参考文献 19被引用 4

一句话总结

本文提出 Cseq2seq，一种循环序列到序列学习框架，通过将前一解码隐藏状态反馈回编码器作为迭代重编码的初始状态，从而增强序列到序列模型。通过使用循环神经网络（RNN）根据部分目标序列动态检测翻译相关的源序列标记，Cseq2seq-II 在通过编码器与解码器之间参数共享实现参数量减少31%的情况下，实现了与注意力机制模型相当的性能。

ABSTRACT

The vanilla sequence-to-sequence learning (seq2seq) reads and encodes a source sequence into a fixed-length vector only once, suffering from its insufficiency in modeling structural correspondence between the source and target sequence. Instead of handling this insufficiency with a linearly weighted attention mechanism, in this paper, we propose to use a recurrent neural network (RNN) as an alternative (Cseq2seq-I). During decoding, Cseq2seq-I cyclically feeds the previous decoding state back to the encoder as the initial state of the RNN, and reencodes source representations to produce context vectors. We surprisingly find that the introduced RNN succeeds in dynamically detecting translationrelated source tokens according to the partial target sequence. Based on this finding, we further hypothesize that the partial target sequence can act as a feedback to improve the understanding of the source sequence. To test this hypothesis, we propose cyclic sequence-to-sequence learning (Cseq2seq-II) which differs from the seq2seq only in the reintroduction of previous decoding state into the same encoder. We further perform parameter sharing on Cseq2seq-II to reduce parameter redundancy and enhance regularization. In particular, we share the weights of the encoder and decoder, and two targetside word embeddings, making Cseq2seq-II equivalent to a single conditional RNN model, with 31% parameters pruned but even better performance. Cseq2seq-II not only preserves the simplicity of seq2seq but also yields comparable and promising results on machine translation tasks. Experiments on Chinese- English and English-German translation show that Cseq2seq achieves significant and consistent improvements over seq2seq and is as competitive as the attention-based seq2seq model.

研究动机与目标

• 解决原始序列到序列模型在捕捉源序列与目标序列之间结构对应关系方面的局限性。
• 通过在解码过程中实现动态、循环的源序列重编码，克服固定长度上下文向量的瓶颈。
• 探究部分目标序列是否可作为反馈以改善翻译过程中的源序列理解。
• 通过编码器与解码器之间的参数共享，以及词嵌入之间的参数共享，降低模型复杂度并增强正则化效果。
• 证明简化版的单条件 RNN 架构可在不使用显式注意力机制的情况下，优于标准 seq2seq 模型并媲美最先进的注意力机制模型。

提出的方法

• 提出 Cseq2seq-I，利用 GRU 处理由前一解码状态作为初始隐藏状态的编码源表示。
• 引入 Cseq2seq-II，每解码一步都将解码器的前一隐藏状态循环反馈至编码器，以实现对源序列的动态重编码。
• 在编码器与解码器 RNN 之间，以及两个目标侧词嵌入之间实现参数共享，使模型参数减少31%。
• 使用标准序列到序列训练目标端到端训练模型，除循环反馈环路外，未对标准 seq2seq 框架进行任何架构修改。
• 利用 GRU 的更新门与重置门隐式学习源序列与目标序列标记之间的对齐关系与相关性，无需显式注意力计算。
• 在中文-英文与英文-德文翻译任务上，使用 BLEU 和对齐误差率（AER）等标准指标评估模型性能。

实验结果

研究问题

• RQ1 能否使用循环神经网络作为注意力机制的替代方案，以建模序列到序列学习中的源-目标依赖关系？
• RQ2 将解码器的隐藏状态反馈回编码器是否能改善解码过程中的源表示学习？
• RQ3 在编码器与解码器之间实现参数共享是否能在降低模型复杂度的同时保持或提升性能？
• RQ4 循环重编码机制是否能隐式学习词对齐关系，而无需显式注意力机制？
• RQ5 所提出的 Cseq2seq 框架在机器翻译任务中与原始 seq2seq 模型及最先进的注意力机制模型相比表现如何？

主要发现

• Cseq2seq-I 仅通过 GRU 的隐藏状态与输入表示，便在每个解码步骤成功检测出与翻译相关的源序列标记，表现出隐式的注意力类似行为。
• Cseq2seq-II 在中文-英文与英文-德文翻译任务上均显著且一致地优于原始 seq2seq 模型，BLEU 分数超越标准 seq2seq 模型。
• 该模型在性能上与主流注意力机制 seq2seq 模型具有竞争力，实现相当或更优的结果，且未显式建模注意力机制。
• 参数共享使模型参数减少31%，同时提升性能，表明共享的编码器-解码器 RNN 比独立的 RNN 更具有效性。
• GRU 的更新门与对齐质量相关，且模型实现了较低的对齐误差率（AER），表明其隐式学习到了有意义的源-目标对应关系。
• 循环反馈机制实现了编码器与解码器之间的双向信息流动，使模型能够根据翻译进度自适应地聚焦于尚未翻译的源序列标记。