[论文解读] Modulating and attending the source image during encoding improves Multimodal Translation

Jean-Benoit Delbrouck, Stéphane Dupont|arXiv (Cornell University)|Dec 9, 2017

Multimodal Machine Learning Applications参考文献 17被引用 14

一句话总结

本文提出了一种完全端到端的多模态翻译模型，通过条件批归一化（CBN）调节视觉特征提取，并引入基于编码器的视觉注意力机制，该机制以文本编码器表示为条件。通过在编码阶段整合语言引导的视觉处理与注意力机制，该模型在三个基准数据集上取得了新的最先进结果，Flickr Test2016上的BLEU分数最高达到40.5，MSCOCO模糊数据集上的BLEU分数达到27.3。

ABSTRACT

We propose a new and fully end-to-end approach for multimodal translation where the source text encoder modulates the entire visual input processing using conditional batch normalization, in order to compute the most informative image features for our task. Additionally, we propose a new attention mechanism derived from this original idea, where the attention model for the visual input is conditioned on the source text encoder representations. In the paper, we detail our models as well as the image analysis pipeline. Finally, we report experimental results. They are, as far as we know, the new state of the art on three different test sets.

研究动机与目标

• 通过在训练流程中更深入地整合视觉与文本处理，解决多模态翻译模型表现不佳的挑战。
• 通过将注意力计算从解码器阶段转移到编码器阶段，克服传统基于解码器的视觉特征注意力机制的局限性。
• 通过源文本编码器提供的语言上下文调制卷积神经网络（CNN）处理，提升特征的相关性以改善翻译性能。
• 建立一种完全端到端的训练范式，使视觉特征提取以文本输入为条件，而非使用固定的预提取特征。
• 证明语言条件化的视觉处理可生成更具信息量的图像表征，尤其在消歧任务中表现更优。

提出的方法

• 在ResNet编码器中应用条件批归一化（CBN），其中批归一化参数以源文本编码器的隐藏状态为条件，从而调节特征提取过程。
• 引入一种基于编码器的视觉注意力机制，利用源词的文本表征$\bm{h}_i$计算视觉特征上的注意力权重，而非使用解码器状态。
• 使用双向GRU编码器为每个源词生成上下文相关的文本注释$\bm{h}_i$，这些注释随后用于条件化CBN和视觉注意力。
• 通过在编码器中融合文本注释$\bm{h}_i$与对应视觉特征$V_i$，构建多模态表征，实现在解码前的联合处理。
• 使用随机梯度下降端到端训练整个模型，以最小化目标序列的负对数似然。
• 对最后的ResNet阶段进行微调，或使用最终特征图的全局平均池化，比较不同配置下的性能表现。

实验结果

研究问题

• RQ1 是否可以通过源文本编码器对视觉特征提取过程进行条件化，从而提升多模态翻译性能？
• RQ2 是否将视觉注意力计算从解码器阶段转移到编码器阶段，能够带来更好的对齐效果与翻译质量？
• RQ3 在多模态设置下，对视觉编码器应用条件批归一化（CBN）如何影响图像特征的信息量？
• RQ4 当与CBN和基于编码器的注意力结合时，使用不同ResNet变体（v1与v2）对多模态翻译性能有何影响？
• RQ5 完全端到端的多模态翻译模型是否能够超越使用固定预提取视觉特征的模型？

主要发现

• 采用ResNet v1、CBN与基于编码器的注意力机制的模型（RN v1 CBN enc-att）在Flickr Test2016上取得了40.5 ± 0.8的BLEU分数，超越了此前最先进结果（38.4 ± 0.3）。
• 在模糊的MSCOCO测试集上，该模型达到27.3 ± 0.9的BLEU分数与48.5 ± 0.4的METEOR分数，创下新最先进水平。
• 条件批归一化（CBN）显著提升了性能，尤其是在全局图像特征（如Pool5）上，BLEU分数从38.4提升至39.4。
• 对最后的ResNet阶段进行微调并未提升性能，表明CBN本身已足够实现有效调制。
• 基于编码器的注意力机制优于基于解码器的注意力机制，表明模态表征的早期融合更具有效性。
• 尽管ResNet v2在架构上有所改进，但其性能相比ResNet v1略有下降，表明架构选择可能以复杂方式影响模态间的交互。