[论文解读] ParaCNN: Visual Paragraph Generation via Adversarial Twin Contextual CNNs

Shiyang Yan, Hua Yang+1 more|arXiv (Cornell University)|Apr 21, 2020

Multimodal Machine Learning Applications参考文献 34被引用 7

一句话总结

本文提出ParaCNN，一种用于视觉段落生成的纯卷积神经网络，采用具有句子间上下文建模的分层CNN架构，以生成长篇且连贯的段落。通过引入对抗性双流网络训练方案，强制实现前向与后向特征一致性，ParaCNN在Stanford Visual Paragraph数据集上实现了最先进性能，优于先前基于RNN的模型，在生成质量和灵活性方面均有提升。

ABSTRACT

Image description generation plays an important role in many real-world applications, such as image retrieval, automatic navigation, and disabled people support. A well-developed task of image description generation is image captioning, which usually generates a short captioning sentence and thus neglects many of fine-grained properties, e.g., the information of subtle objects and their relationships. In this paper, we study the visual paragraph generation, which can describe the image with a long paragraph containing rich details. Previous research often generates the paragraph via a hierarchical Recurrent Neural Network (RNN)-like model, which has complex memorising, forgetting and coupling mechanism. Instead, we propose a novel pure CNN model, ParaCNN, to generate visual paragraph using hierarchical CNN architecture with contextual information between sentences within one paragraph. The ParaCNN can generate an arbitrary length of a paragraph, which is more applicable in many real-world applications. Furthermore, to enable the ParaCNN to model paragraph comprehensively, we also propose an adversarial twin net training scheme. During training, we force the forwarding network's hidden features to be close to that of the backwards network by using adversarial training. During testing, we only use the forwarding network, which already includes the knowledge of the backwards network, to generate a paragraph. We conduct extensive experiments on the Stanford Visual Paragraph dataset and achieve state-of-the-art performance.

研究动机与目标

• 解决短图像字幕在捕捉细粒度视觉细节和关系方面的局限性。
• 克服基于RNN的分层模型在视觉段落生成中面临的序列瓶颈和复杂记忆机制问题。
• 开发一种灵活的、纯CNN架构，能够生成可变长度且具有强连贯性的段落。
• 通过对抗性双流网络训练，改进长距离依赖建模和段落生成中的上下文一致性。
• 与循环神经网络架构相比，实现更有效且高效的序列建模，用于视觉段落生成。

提出的方法

• ParaCNN采用分层CNN架构，通过主题卷积提取视觉主题，通过词卷积生成句子序列。
• 将先前生成句子的上下文特征与视觉主题融合，以确保句子间的连贯性。
• 引入对抗性双流网络训练方案，其中前向网络通过对抗性损失被训练为生成与后向网络隐藏特征相近的表示。
• 推理阶段仅使用前向网络，其通过对抗性训练隐式学习了后向上下文信息。
• 模型使用平均池化、自注意力池化以及表示惩罚采样，以提升特征质量和多样性。
• 训练目标结合L2损失与对抗性损失，以同时提升生成段落的流畅性与事实一致性。

实验结果

研究问题

• RQ1 纯CNN架构能否有效建模长篇视觉段落生成，实现高连贯性与细节表达？
• RQ2 对抗性双流网络训练在视觉段落生成中如何改善长距离依赖建模？
• RQ3 基于CNN的方法是否在生成多样化、上下文一致的段落方面优于分层RNN？
• RQ4 双流网络方案在多大程度上增强了模型对过去上下文的总结能力，以支持未来词语的生成？
• RQ5 所提方法能否生成比人类标注真实值更丰富的细节和更微妙的物体关系？

主要发现

• ParaCNN在Stanford Visual Paragraph数据集上达到最先进性能，采用双流网络与表示惩罚采样时，BLEU-4得分为43.3，CIDEr得分为20.6。
• 对抗性双流网络训练方案显著提升了生成质量，相比基线ParaCNN，CIDEr得分提高了3.1分。
• 该模型生成了更多细粒度细节，并引入了关于微小物体及其关系的新颖概念，甚至在某些情况下超越了人类标注的真实值。
• ParaCNN收敛速度优于分层RNN模型，在所有评估指标（包括BLEU、ROUGE和CIDEr）上均表现出更优性能。
• L2损失与对抗性双流训练的结合取得了最佳结果，证实了双优化策略的有效性。
• 可视化结果表明，双流网络版本生成的段落比标准ParaCNN基线更详细、更连贯且上下文更准确。