[论文解读] Image Captioning using Deep Stacked LSTMs, Contextual Word Embeddings and Data Augmentation

Sulabh Katiyar, Samir Kumar Borgohain|arXiv (Cornell University)|Feb 22, 2021

Multimodal Machine Learning Applications被引用 9

一句话总结

该论文提出了一种使用Inception-ResNet-v2进行特征提取、深层堆叠LSTM结合上下文Komninos词嵌入、并通过翻转和透视变换进行数据增强的图像字幕生成模型。该方法在未使用显式注意力机制的情况下实现了具有竞争力的性能，由于特征表示的改进和层次化词语建模，在标准指标上优于基线模型。

ABSTRACT

Image Captioning, or the automatic generation of descriptions for images, is one of the core problems in Computer Vision and has seen considerable progress using Deep Learning Techniques. We propose to use Inception-ResNet Convolutional Neural Network as encoder to extract features from images, Hierarchical Context based Word Embeddings for word representations and a Deep Stacked Long Short Term Memory network as decoder, in addition to using Image Data Augmentation to avoid over-fitting. For data Augmentation, we use Horizontal and Vertical Flipping in addition to Perspective Transformations on the images. We evaluate our proposed methods with two image captioning frameworks- Encoder-Decoder and Soft Attention. Evaluation on widely used metrics have shown that our approach leads to considerable improvement in model performance.

研究动机与目标

• 通过利用更深的LSTM架构和上下文词表示来提升图像字幕生成性能。
• 通过有效的数据增强技术减少图像字幕模型中的过拟合。
• 探索中间卷积特征相较于全局图像嵌入在提升空间理解方面的有效性。
• 评估上下文词嵌入和深层堆叠LSTM是否能够弥补缺乏注意力机制的不足。
• 对CNN编码器和词嵌入层进行微调，以提升表征学习效果。

提出的方法

• 使用Inception-ResNet-v2作为CNN编码器，从图像中提取多尺度特征图，以保留空间和区域信息。
• 采用三层深层堆叠LSTM解码器，以建模生成字幕中的长距离依赖关系和复杂语言结构。
• 集成Komninos词嵌入，其结合了词共现和依存上下文特征，以生成上下文丰富的词表示。
• 通过水平/垂直翻转和透视变换实施数据增强，以增加训练数据的多样性并减少过拟合。
• 在训练过程中对CNN特征提取器和词嵌入层参数进行微调，以使表征适应字幕生成任务。
• 在两种框架下评估模型：标准编码器-解码器框架和基于软注意力的解码框架，使用交叉熵损失以最大化真实字幕的条件概率。

实验结果

研究问题

• RQ1 在未使用显式注意力机制的情况下，深层堆叠LSTM解码器结合上下文词嵌入能否实现具有竞争力的性能？
• RQ2 在字幕生成任务中，使用Inception-ResNet-v2的中间卷积特征与全局图像嵌入相比表现如何？
• RQ3 通过几何变换进行数据增强在多大程度上能提升图像字幕模型的泛化能力并减少过拟合？
• RQ4 对CNN编码器和词嵌入层进行微调是否能带来可测量的性能提升？
• RQ5 上下文词嵌入在多大程度上增强了模型生成语义准确且上下文连贯字幕的能力？

主要发现

• 所提出的无显式注意力机制的编码器-解码器模型在标准评估指标上表现优于或匹配使用软注意力机制的模型。
• 使用Inception-ResNet-v2进行特征提取相比简单CNN显著提升了性能，归因于更丰富的特征表示。
• 深层堆叠LSTM（三层）相比单层LSTM能更好地建模复杂的语言依赖关系。
• 上下文Komninos词嵌入提升了词表示的质量，增强了生成字幕的语义准确性。
• 通过翻转和透视变换进行数据增强能有效减少过拟合，并提升验证集上的泛化能力。
• 定性分析表明，该模型生成的字幕更具描述性，能正确识别物体颜色、动作和场景细节，尽管偶尔会出现词语重复。