[论文解读] Attention Strategies for Multi-Source Sequence-to-Sequence Learning

Jindřich Libovický, Jindřich Helcl|arXiv (Cornell University)|Apr 21, 2017

Topic Modeling被引用 1

一句话总结

本文提出了两种新颖的注意力组合策略——平铺式与分层式，用于多源序列到序列模型，实现了对编码器重要性的显式建模。与标准拼接方法相比，这些方法通过联合学习注意力分布，实现了更快的收敛速度并取得了更具竞争力的性能，在多模态翻译与自动后编辑任务中表现优异。

ABSTRACT

Modeling attention in neural multi-source sequence-to-sequence learning remains a relatively unexplored area, despite its usefulness in tasks that incorporate multiple source languages or modalities. We propose two novel approaches to combine the outputs of attention mechanisms over each source sequence, flat and hierarchical. We compare the proposed methods with existing techniques and present results of systematic evaluation of those methods on the WMT16 Multimodal Translation and Automatic Post-editing tasks. We show that the proposed methods achieve competitive results on both tasks.

研究动机与目标

• 为解决多源序列到序列模型中多个输入源重要性差异缺乏显式建模的问题。
• 开发可解释的注意力组合策略，以反映不同模态或序列的独立作用。
• 评估联合注意力分布学习是否在性能上优于上下文向量的简单拼接。
• 实现与解码器中条件GRU单元的兼容性，而这是简单拼接方法无法实现的。

提出的方法

• 提出平铺式注意力组合，通过共享参数联合计算所有编码器隐藏状态的注意力权重，用于能量计算。
• 引入分层式注意力组合，先对每个编码器分别计算注意力，再通过独立的注意力机制组合得到的上下文向量。
• 在不同编码器之间共享投影矩阵以计算注意力能量，同时为每个编码器使用特定的投影矩阵进行隐藏状态变换。
• 将哨兵门机制（sentinel gate）适配至模型中，使解码器能够关注自身状态，从而在输入信息稀疏时提升鲁棒性。
• 采用基于GRU的解码器，结合条件门控与哨兵向量，以增强建模灵活性。
• 将上述两种策略应用于多模态翻译（图像 + 描述）与自动后编辑（源语言 + 机器翻译输出）任务。

实验结果

研究问题

• RQ1 与拼接方法相比，跨多个编码器联合学习注意力分布是否能提升多源序列到序列任务的性能？
• RQ2 分层式注意力组合是否比平铺式注意力提供更好的编码器贡献可解释性？
• RQ3 所提出的策略是否能有效用于解码器中的条件GRU单元，而标准拼接方法则无法实现？
• RQ4 在真实任务如多模态翻译与自动后编辑中，所提策略表现如何？
• RQ5 分层式注意力是否比平铺式或拼接式注意力实现更快的模型收敛速度？

主要发现

• 平铺式与分层式注意力策略在WMT16多模态翻译与自动后编辑任务中均取得了具有竞争力的性能表现。
• 分层式策略在学习收敛速度上优于其他注意力组合方法。
• 在APE任务中，最佳模型（分层式+共享投影+哨兵）的HTER达到22.0 ± .7，显著优于基线模型（24.8）。
• 在Multi30k数据集上，分层式模型取得了32.1 ± .8的BLEU分数，优于基线及其他配置。
• 共享投影矩阵的使用提升了性能与泛化能力，尤其在低资源设置下表现更优。
• 哨兵门机制增强了模型鲁棒性，尤其在输入序列中相关性信息有限时表现更佳。