[论文解读] Encode, Review, and Decode: Reviewer Module for Caption Generation.

Zhilin Yang, Ye Yuan+3 more|arXiv (Cornell University)|May 25, 2016

Multimodal Machine Learning Applications参考文献 12被引用 67

一句话总结

本文提出了一种通用的评审模块，通过在编码器隐藏状态上应用多步基于注意力的评审步骤，增强编码器-解码器模型在图像和代码字幕生成中的性能，生成的事实向量可提升解码器的注意力机制。该框架在图像和源代码字幕生成任务上均实现了当前最优性能。

ABSTRACT

We propose a novel module, the reviewer module, to improve the encoder-decoder learning framework. The reviewer module is generic, and can be plugged into an existing encoder-decoder model. The reviewer module performs a number of review steps with attention mechanism on the encoder hidden states, and outputs a fact vector after each review step; the fact vectors are used as the input of the attention mechanism in the decoder. We show that the conventional encoder-decoders are a special case of our framework. Empirically, we show that our framework can improve over state-of-the-art encoder-decoder systems on the tasks of image captioning and source code captioning.

研究动机与目标

• 为解决传统编码器-解码器模型在字幕生成任务中的局限性，提出一种更具动态性和迭代优化机制的改进方法。
• 设计一种通用模块，可轻松集成到现有编码器-解码器架构中，无需对网络结构进行大规模修改。
• 通过在编码器表示上进行多步评审生成的事实向量，改进解码器中的注意力机制。
• 通过实证验证该框架在图像和源代码字幕生成任务上优于当前最优模型。

提出的方法

• 评审模块在编码器隐藏状态上使用注意力机制执行多步评审，以优化表示。
• 每轮评审后生成一个事实向量，并将其作为输入提供给解码器的注意力机制。
• 该框架泛化了传统编码器-解码器模型，后者可视为仅包含单步评审的特例。
• 评审模块即插即用，可与任何现有编码器-解码器架构兼容。
• 通过整合来自评审多阶段的事实向量，增强了解码器中的注意力机制。

实验结果

研究问题

• RQ1 在编码器隐藏状态上应用多步评审机制是否能提升生成字幕的质量？
• RQ2 评审模块的迭代优化过程如何影响解码器中的注意力机制？
• RQ3 所提出的框架在图像和代码字幕生成任务中，相较于现有最先进模型，优势程度如何？
• RQ4 该评审模块在不同字幕生成任务中是否具有有效性与通用性？

主要发现

• 与传统编码器-解码器模型相比，评审模块在图像字幕生成任务中表现更优。
• 该框架在源代码字幕生成任务中达到最先进性能，证明其在代码理解与生成方面的有效性。
• 所提出的方法泛化了标准编码器-解码器模型，后者可视为该框架中仅含一步评审的特例。
• 实证结果证实，多轮评审机制提升了注意力质量，从而生成更准确且上下文相关性更强的字幕。