[论文解读] Exploring the sequence length bottleneck in the Transformer for Image Captioning

Jia Cheng Hu, Cavicchioli, Roberto+1 more|arXiv (Cornell University)|Jul 7, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

本文提出了扩展机制（Expansion Mechanism），这是一种新颖的方法，通过动态或静态地改变Transformer模型中输入序列的长度，用于图像字幕生成任务，从而在不依赖自注意力机制或循环结构的前提下实现性能提升。所提出的ExpansionNet架构虽未使用注意力机制或RNN，但仍取得了接近SOTA的性能表现（在MS-COCO 2014数据集上达到134.6 CIDEr-D），证明了通过序列长度调控可绕过传统性能瓶颈。

ABSTRACT

Most recent state of the art architectures rely on combinations and variations of three approaches: convolutional, recurrent and self-attentive methods. Our work attempts in laying the basis for a new research direction for sequence modeling based upon the idea of modifying the sequence length. In order to do that, we propose a new method called "Expansion Mechanism" which transforms either dynamically or statically the input sequence into a new one featuring a different sequence length. Furthermore, we introduce a novel architecture that exploits such method and achieves competitive performances on the MS-COCO 2014 data set, yielding 134.6 and 131.4 CIDEr-D on the Karpathy test split in the ensemble and single model configuration respectively and 130 CIDEr-D in the official online evaluation server, despite being neither recurrent nor fully attentive. At the same time we address the efficiency aspect in our design and introduce a convenient training strategy suitable for most computational resources in contrast to the standard one. Source code is available at https://github.com/jchenghu/exploring

研究动机与目标

• 探究输入序列长度是否在基于Transformer的图像字幕生成任务中构成性能瓶颈。
• 提出一种将模型处理长度与原始输入序列长度解耦的方法。
• 设计一种高效、非注意力机制、非循环结构的网络架构，同时保持较强的性能表现。
• 降低训练成本，提升在Tesla K80等标准硬件上的可行性。
• 开启一个以序列长度调控为核心的序列建模新研究方向。

提出的方法

• 扩展机制通过可学习且可微的操作，将输入序列转换为新的长度，支持动态与静态两种方式。
• 该机制包含前向步骤（用于扩展或压缩序列）与反向步骤（用于恢复原始长度，以保证与后续层的兼容性）。
• 该方法被集成到一种新型架构ExpansionNet中，该架构仅使用前馈网络与残差连接，完全避免了自注意力机制与循环结构。
• 模型采用一种改进的训练策略，减少训练轮数并使用更小的批量大小，从而在保持性能的同时降低计算成本。
• 扩展操作应用于解码器之前的视觉特征，使网络能够在不改变输入图像的前提下处理长度被调整的序列。
• 架构中仅在特征融合阶段使用交叉连接注意力，而非用于序列建模，从而保持整体效率。

实验结果

研究问题

• RQ1 是否可以通过将输入序列长度扩展至原始长度以上，来提升图像字幕生成的性能？
• RQ2 若将模型处理长度与输入序列长度解耦，是否能缓解Transformer模型中的性能瓶颈？
• RQ3 能否设计一种非注意力、非循环结构的模型，在图像字幕任务中取得具有竞争力的性能？
• RQ4 是否可能设计一种更高效的训练策略，在不牺牲性能的前提下显著降低计算成本？
• RQ5 序列长度调控能否作为自注意力或循环结构在序列建模任务中的可行替代方案？

主要发现

• 在集成模式下，ExpansionNet在Karpathy测试集上取得了134.6 CIDEr-D的性能，优于许多基于注意力机制的模型。
• 单模型配置下，模型达到了131.4 CIDEr-D，证明其在不依赖自注意力或循环结构的前提下仍具备强大性能。
• 模型在官方MS-COCO在线评估服务器上获得130 CIDEr-D，验证了其鲁棒性。
• 扩展机制成功实现了处理长度与输入长度的解耦，实现了有效的序列调控。
• 所提出的训练策略显著降低了计算成本，使该方法在Tesla K80等标准硬件上具备可行性。
• 实验结果挑战了当前普遍认为自注意力或循环结构对高性能图像字幕生成必不可少的假设。