[论文解读] Bringing back simplicity and lightliness into neural image captioning

Jean-Benoit Delbrouck, Stéphane Dupont|arXiv (Cornell University)|Oct 15, 2018

Multimodal Machine Learning Applications参考文献 34被引用 4

一句话总结

该论文提出了一种轻量级、高效的神经图像字幕模型，通过简化关键组件——使用小的可学习嵌入（d=128）、紧凑的cGRU解码器、池化后的CNN特征以及简单的注意力机制——在参数和计算量极少的情况下实现了强劲的性能表现。尽管结构简单，该模型在CIDER和METEOR指标上仍优于更强的基线模型，表明高性能并不需要复杂的架构。

ABSTRACT

Neural Image Captioning (NIC) or neural caption generation has attracted a lot of attention over the last few years. Describing an image with a natural language has been an emerging challenge in both fields of computer vision and language processing. Therefore a lot of research has focused on driving this task forward with new creative ideas. So far, the goal has been to maximize scores on automated metric and to do so, one has to come up with a plurality of new modules and techniques. Once these add up, the models become complex and resource-hungry. In this paper, we take a small step backwards in order to study an architecture with interesting trade-off between performance and computational complexity. To do so, we tackle every component of a neural captioning model and propose one or more solution that lightens the model overall. Our ideas are inspired by two related tasks: Multimodal and Monomodal Neural Machine Translation.

研究动机与目标

• 开发一种在计算成本和模型复杂度极低的情况下仍能实现高性能的神经图像字幕模型。
• 减少对先前工作中常见的大型预训练嵌入和复杂架构的依赖。
• 通过简化字幕生成流程中的每个组件，探索性能与复杂度之间的权衡。
• 证明简化架构可以在标准指标上超越更复杂的模型。
• 为未来神经图像字幕研究提供一种可扩展、高效的基线模型。

提出的方法

• 使用维度为d=128的小型联合学习嵌入矩阵，替代GloVe或word2vec等大型预训练嵌入。
• 采用参数更少、隐藏状态尺寸更小的紧凑cGRU（条件门控循环单元）解码器，以最小化参数量和计算量。
• 应用一种简单而有效的注意力机制，关注池化后的CNN特征（来自ResNet-50），而非完整的特征图。
• 使用单一投影矩阵生成输出词汇表，无需额外的归一化或复杂的解码头。
• 采用交叉熵损失进行端到端训练，并通过策略梯度强化学习（PG）进行微调，以提升CIDER得分。
• 通过增加嵌入和隐藏层维度，或用多头注意力（MHA）替换原有注意力机制，实现模型扩展以进一步提升性能。

实验结果

研究问题

• RQ1 神经图像字幕模型是否能在显著减少参数量和计算量的情况下实现强劲性能？
• RQ2 在图像字幕任务中，使用小型联合学习嵌入是否优于大型预训练嵌入？
• RQ3 基于池化特征的简化注意力机制能否匹配甚至超越基于完整特征图的注意力机制？
• RQ4 在不增加复杂度的前提下，轻量级架构在多大程度上可通过扩展实现性能提升？
• RQ5 相较于复杂且先进的模型，更简单的模型架构是否能带来更好的泛化能力或更快的训练速度？

主要发现

• 通过RL-PG微调，所提模型在CIDER指标上达到1.071的得分，较基线XE模型高出+63分。
• 与基线XE模型相比，该模型在METEOR指标上提升了+63分，甚至优于蒙特卡洛滚动预测变体。
• 仅使用d=128的嵌入和小隐藏状态的cGRU，该模型在参数量显著减少的情况下仍保持强劲性能。
• 该模型具有良好的可扩展性：增加模型宽度（cGRUx2）或用多头注意力（MHA）替换原有注意力机制，可进一步提升CIDER得分。
• 该模型在所有指标上均优于强基线模型（Renn et al.），包括BERTScore（B4）、METEOR和CIDER，且训练过程更简单、更快。
• 消融实验确认，小型嵌入、池化特征与紧凑解码器的组合是实现性能与效率的关键。