[论文解读] AutoCaption: Image Captioning with Neural Architecture Search

Xinxin Zhu, Ning Wang+2 more|arXiv (Cornell University)|Dec 16, 2020

Multimodal Machine Learning Applications参考文献 62被引用 9

一句话总结

该论文提出 AutoCaption，一种神经架构搜索（NAS）框架，通过参数共享的强化学习方法自动设计用于图像字幕生成的 RNN 解码器架构。该方法发现的文本生成模型比人工设计的 LSTM 和 Transformer 更高效、更有效，在 MSCOCO 上实现了最先进性能，准确率更高且模型尺寸更小。

ABSTRACT

Image captioning transforms complex visual information into abstract natural language for representation, which can help computers understanding the world quickly. However, due to the complexity of the real environment, it needs to identify key objects and realize their connections, and further generate natural language. The whole process involves a visual understanding module and a language generation module, which brings more challenges to the design of deep neural networks than other tasks. Neural Architecture Search (NAS) has shown its important role in a variety of image recognition tasks. Besides, RNN plays an essential role in the image captioning task. We introduce a AutoCaption method to better design the decoder module of the image captioning where we use the NAS to design the decoder module called AutoRNN automatically. We use the reinforcement learning method based on shared parameters for automatic design the AutoRNN efficiently. The search space of the AutoCaption includes connections between the layers and the operations in layers both, and it can make AutoRNN express more architectures. In particular, RNN is equivalent to a subset of our search space. Experiments on the MSCOCO datasets show that our AutoCaption model can achieve better performance than traditional hand-design methods.

研究动机与目标

• 解决手动设计高效 RNN 解码器用于图像字幕生成的挑战，该过程耗时且非最优。
• 通过自动搜索最优神经网络架构，提升图像字幕生成中的文本生成性能。
• 在保持或提升性能的同时，降低计算成本和模型尺寸，相比标准的 Transformer 和 LSTM 模型。
• 开发一种高效的 NAS 框架，利用参数共享和强化学习实现更快的架构搜索。

提出的方法

• 该方法采用参数共享的强化学习，高效搜索最优 RNN 解码器架构。
• 搜索空间包含层间连接和层内操作，以探索多样化的架构配置。
• 控制器网络根据 CIDEr 等评估指标在训练过程中的性能反馈采样架构。
• 该框架从简单的 Show-Attend-Tell 模型开始，逐步集成高级组件（如双线性注意力）。
• 搜索过程以 CIDEr 指标为导向，直接优化字幕生成性能，而非仅基于交叉熵损失。
• 最终模型 AutoRNN 可动态调节复杂度与尺寸，支持在计算能力各异的设备上部署。

实验结果

研究问题

• RQ1 神经架构搜索能否自动发现比人工设计模型更优的 RNN 解码器架构用于图像字幕生成？
• RQ2 在序列生成任务中，使用强化学习与参数共享如何提升 NAS 的效率与有效性？
• RQ3 在搜索过程中引入 CIDEr 等性能指标是否能带来比仅使用损失反馈更优的架构？
• RQ4 自动搜索得到的模型能否在保持更小模型尺寸的同时，性能超越标准的 Transformer 和 LSTM？
• RQ5 架构复杂度（如模块数量）在图像字幕基准测试中在多大程度上影响性能？

主要发现

• 当使用 6 个模块时，AutoCaption 模型的 CIDEr 得分为 95.9%，优于基线 Show-Attend-Tell 模型（93.4%）和 X-Linear 基准（95.0%）。
• 6 模块模型达到最佳性能，表明更小的架构可能在 MSCOCO 数据集上泛化能力更强，可能由于过拟合减少。
• 在训练中使用基于 CIDEr 的评估可提升模型性能，相比仅使用损失训练，CIDEr 得分提高 1.5 分。
• AutoRNN-6 模型参数量为 14.0M，可训练参数为 3.5M，显著小于 Transformer（168.4M 参数），同时性能更优。
• AutoRNN-6 模型的 B@4 得分为 29.3%，超过 Show-Attend-Tell 基线（28.2%），显示出更高的流畅性与准确性。
• 该方法支持灵活的模型尺寸控制，使模型可在资源受限设备上部署，因为 AutoRNN 模型仅略大于标准 LSTM。