[论文解读] Image Captioning via Compact Bidirectional Architecture

Song, Zijie, Yuanen Zhou+5 more|arXiv (Cornell University)|Jan 6, 2022

Multimodal Machine Learning Applications被引用 14

一句话总结

本文提出一种紧凑的双向Transformer（CBTIC）用于图像字幕生成，通过在单一、可并行化的解码器中联合学习从左到右和从右到左的字幕生成，实现了端到端的双向上下文建模。通过紧密耦合双向流并利用模型输出排序实现句子级集成，CBTIC在不使用视觉-语言预训练的情况下，在MSCOCO数据集上达到最先进性能，相比之前未预训练的模型，CIDEr得分最高提升4.6%。

ABSTRACT

Most current image captioning models typically generate captions from left-to-right. This unidirectional property makes them can only leverage past context but not future context. Though refinement-based models can exploit both past and future context by generating a new caption in the second stage based on pre-retrieved or pre-generated captions in the first stage, the decoder of these models generally consists of two networks~(i.e. a retriever or captioner in the first stage and a captioner in the second stage), which can only be executed sequentially. In this paper, we introduce a Compact Bidirectional Transformer model for image captioning that can leverage bidirectional context implicitly and explicitly while the decoder can be executed parallelly. Specifically, it is implemented by tightly coupling left-to-right(L2R) and right-to-left(R2L) flows into a single compact model to serve as a regularization for implicitly exploiting bidirectional context and optionally allowing explicit interaction of the bidirectional flows, while the final caption is chosen from either L2R or R2L flow in a sentence-level ensemble manner. We conduct extensive ablation studies on MSCOCO benchmark and find that the compact bidirectional architecture and the sentence-level ensemble play more important roles than the explicit interaction mechanism. By combining with word-level ensemble seamlessly, the effect of sentence-level ensemble is further enlarged. We further extend the conventional one-flow self-critical training to the two-flows version under this architecture and achieve new state-of-the-art results in comparison with non-vision-language-pretraining models. Finally, we verify the generality of this compact bidirectional architecture by extending it to LSTM backbone. Source code is available at https://github.com/YuanEZhou/cbtic.

研究动机与目标

• 解决单向字幕生成模型在生成过程中仅能访问过去上下文的局限性。
• 在单一、可并行化的解码器架构中实现双向上下文建模，以提升字幕质量。
• 通过将从左到右和从右到左的生成流程统一为一个紧凑模型，消除基于优化的模型中固有的顺序依赖性。
• 在不训练两个独立模型的前提下实现句子级集成，提升推理效率与性能。
• 将自关键性训练扩展至双流架构，实现端到端优化。

提出的方法

• 模型使用一个参数共享的单一Transformer解码器，同时支持从左到右（L2R）和从右到左（R2L）的字幕生成流。
• 在训练过程中，每张图像均与两个字幕配对——一个带<l2r>前缀的L2R字幕和一个带<r2l>前缀的R2L字幕，通过联合损失函数进行联合训练。
• 在解码过程中，可选择性地通过交叉注意力机制实现L2R与R2L流之间的显式交互。
• 在推理阶段，L2R与R2L输出并行生成，并通过句子级集成选择概率更高的输出。
• 通过平均多个模型实例的概率分布，实现词级别集成。
• 将自关键性训练扩展至双流设置，利用L2R与R2L输出联合优化CIDEr得分。

实验结果

研究问题

• RQ1 紧凑的单模型架构能否有效利用图像字幕生成中的过去与未来上下文？
• RQ2 通过L2R与R2L输出排序实现的句子级集成，是否能在不训练两个独立模型的前提下提升性能？
• RQ3 显式交互机制与通过参数共享实现的隐式上下文建模相比，性能表现如何？
• RQ4 所提出的双流自关键性训练是否优于传统的单流训练？
• RQ5 该紧凑架构在多大程度上可作为双向上下文学习的正则化器？

主要发现

• 紧凑的双向架构作为隐式利用双向上下文的有效正则化器，其性能优于显式交互机制。
• 通过L2R与R2L输出排序实现的句子级集成，性能可媲美训练两个独立模型，且无额外推理开销。
• 在MSCOCO Karpathy测试集上，CBTIC模型在集成设置下达到40.0的CIDEr得分，超越所有未使用预训练的模型。
• 在官方测试服务器上，相比最佳基线模型（RSTNet），CIDEr得分分别提升4.1%（c5引用）和4.6%（c40引用）。
• 尽管CIDEr得分提升，R2L流引入了生成不良结尾的倾向（如“a man with a soccer ball on a field”），导致BLEU得分从38.9略微下降至38.0。
• 词级别与句子级别集成的结合显著放大性能增益，证明了两种集成策略具有正交优势。