[论文解读] A Correlational Encoder Decoder Architecture for Pivot Based Sequence Generation

Amrita Saha, Mitesh M. Khapra+3 more|arXiv (Cornell University)|Jun 15, 2016

Algorithms and Data Compression参考文献 32被引用 7

一句话总结

本文提出了一种相关性编码器-解码器架构，联合学习源语言X与pivot语言Z之间的共享表征，从而在无需直接X-Y平行数据的情况下实现目标语言Y的序列生成。通过最大化X与Z编码之间的相关性，并使用统一解码器生成Y序列，该模型在桥接音译任务中优于两阶段基线模型，在桥接图像字幕任务中也取得了具有竞争力的结果，展示了通往受interlingua启发的多语言生成的可扩展路径。

ABSTRACT

Interlingua based Machine Translation (MT) aims to encode multiple languages into a common linguistic representation and then decode sentences in multiple target languages from this representation. In this work we explore this idea in the context of neural encoder decoder architectures, albeit on a smaller scale and without MT as the end goal. Specifically, we consider the case of three languages or modalities X, Z and Y wherein we are interested in generating sequences in Y starting from information available in X. However, there is no parallel training data available between X and Y but, training data is available between X & Z and Z & Y (as is often the case in many real world applications). Z thus acts as a pivot/bridge. An obvious solution, which is perhaps less elegant but works very well in practice is to train a two stage model which first converts from X to Z and then from Z to Y. Instead we explore an interlingua inspired solution which jointly learns to do the following (i) encode X and Z to a common representation and (ii) decode Y from this common representation. We evaluate our model on two tasks: (i) bridge transliteration and (ii) bridge captioning. We report promising results in both these applications and believe that this is a right step towards truly interlingua inspired encoder decoder architectures.

研究动机与目标

• 解决当缺乏直接X-Y平行数据时，从源语言X生成目标语言Y序列的挑战。
• 探索一种受interlingua启发的方法，利用X与pivot语言Z之间的共享潜在表征，实现联合编码与解码。
• 在两项新任务——桥接音译和桥接图像字幕上评估该模型，其中仅存在X-Z和Z-Y的平行数据。
• 在性能与泛化能力方面，将所提出的联合学习模型与强大的两阶段基线模型进行比较。

提出的方法

• 该模型采用共享编码器，将源语言（X）和pivot语言（Z）输入映射到共同的潜在表征，以最大化其编码输出之间的相关性。
• 使用独立的解码器，通过交叉注意力机制从共享表征生成目标语言Y的序列。
• 训练目标结合了标准序列生成损失（如交叉熵）与相关性损失，以鼓励X和Z的编码表征高度相关。
• 该模型在两个数据集上进行联合训练：X-Z平行数据和Z-Y平行数据，无需X-Y平行样本。
• 超参数基于先前在图像字幕任务上的实验进行初始化，并仅在验证集上对相关性损失进行调优。
• 在桥接音译和桥接图像字幕任务上评估该架构，并与两阶段基线模型进行定性和定量比较。

实验结果

研究问题

• RQ1 神经网络能否联合学习源语言X与pivot语言Z之间的共享表征，从而在无X-Y平行数据的情况下实现在目标语言Y中的序列生成？
• RQ2 联合相关性模型在基于pivot的序列生成中的性能与两阶段基线相比如何？
• RQ3 共享表征在多语言和多模态任务（如音译和图像字幕）中，能在多大程度上捕捉跨语言与多模态的相关性？
• RQ4 该模型是否能泛化到复杂的真实场景，例如在平行数据有限的情况下实现从图像到多语言字幕的生成？

主要发现

• 所提出的联合相关性编码器-解码器模型在桥接图像字幕任务中表现具有竞争力，仅使用英语字幕作为pivot，即可从图像生成相关的法语字幕。
• 在桥接音译任务中，该模型在多个语言对上均优于强大的两阶段基线模型，证明了联合表征学习的有效性。
• 尽管未在任何法语数据上进行微调，该模型的性能仍接近两阶段基线，表明其具备强大的泛化能力。
• 定性结果表明，该模型成功捕捉了图像与英语句子之间的相关性，并能从共享表征生成连贯的法语字幕。
• 消融实验确认，相关性损失有助于提升X与Z表征之间的对齐，从而改善下游生成质量。
• 结果表明，共享表征的联合学习是低资源多语言和多模态生成中替代多阶段流水线的可行且可扩展的方案。