[论文解读] MAGIC: Multimodal relAtional Graph adversarIal inferenCe for Diverse and Unpaired Text-based Image Captioning

Wenqiao Zhang, Haochen Shi+6 more|arXiv (Cornell University)|Dec 13, 2021

Multimodal Machine Learning Applications被引用 7

一句话总结

MAGIC 通过构建以显著物体为中心的自适应多模态关系图（MRGs），并利用级联生成对抗网络（CGAN）生成流畅且语义一致的描述，提出了一种新颖的框架，用于多样化且无配对的基于文本的图像字幕生成，无需任何图像-字幕配对训练数据。该方法在 TextCaps 数据集上实现了字幕多样性和质量的最先进性能，优于强基线模型。

ABSTRACT

Text-based image captioning (TextCap) requires simultaneous comprehension of visual content and reading the text of images to generate a natural language description. Although a task can teach machines to understand the complex human environment further given that text is omnipresent in our daily surroundings, it poses additional challenges in normal captioning. A text-based image intuitively contains abundant and complex multimodal relational content, that is, image details can be described diversely from multiview rather than a single caption. Certainly, we can introduce additional paired training data to show the diversity of images' descriptions, this process is labor-intensive and time-consuming for TextCap pair annotations with extra texts. Based on the insight mentioned above, we investigate how to generate diverse captions that focus on different image parts using an unpaired training paradigm. We propose the Multimodal relAtional Graph adversarIal inferenCe (MAGIC) framework for diverse and unpaired TextCap. This framework can adaptively construct multiple multimodal relational graphs of images and model complex relationships among graphs to represent descriptive diversity. Moreover, a cascaded generative adversarial network is developed from modeled graphs to infer the unpaired caption generation in image-sentence feature alignment and linguistic coherence levels. We validate the effectiveness of MAGIC in generating diverse captions from different relational information items of an image. Experimental results show that MAGIC can generate very promising outcomes without using any image-caption training pairs.

研究动机与目标

• 为解决在文本普遍存在的真实世界场景中，为包含文本的图像生成多样化、细粒度字幕的挑战。
• 克服单字幕模型无法捕捉图像内容多重视角的局限性。
• 开发一种无需依赖昂贵且耗时的图像-字幕配对标注的字幕生成框架。
• 对图像中对象、属性与文本之间的复杂模态内和模态间关系进行建模，以实现更丰富的字幕生成。
• 通过在共享潜在空间中对齐图像和句子特征，同时保持语言连贯性，实现有效的无配对学习。

提出的方法

• 该框架使用中心对象感知池（COP）识别显著图像区域，以指导构建多个多模态关系图（MRGs）。
• 每个 MRG 编码中心对象与上下文相关的视觉和文本元素之间的语义关系，捕捉模态内和模态间关系。
• 采用级联生成对抗网络（CGAN）通过建模图像-句子特征对齐并确保语言流畅性，生成多样化字幕。
• CGAN 由一个判别器和一个生成器组成：判别器用于区分真实与生成的字幕，生成器则基于 MRGs 条件生成字幕。
• 模型在无配对设置下端到端训练，利用对比学习对齐图像和句子表示，而无需配对样本。
• 该框架支持多种中心对象选择策略——基于规则和可学习策略——实现对图像不同方面的自适应关注。

实验结果

研究问题

• RQ1 如何在不依赖配对训练数据的情况下，为富含文本的图像生成多样化字幕？
• RQ2 不同的中心对象选择策略如何影响字幕的多样性和质量？
• RQ3 多模态关系图能否有效建模图像-文本场景中复杂的模态内和模态间关系？
• RQ4 所提出的 CGAN 架构如何改善无配对字幕生成中的特征对齐与语言连贯性？
• RQ5 该模型在字幕生成中在多大程度上保持了语义一致性并避免了幻觉？

主要发现

• MAGIC 在 TextCaps 基准上实现了无配对图像-字幕训练数据下的字幕多样性和质量最先进性能。
• 该模型在所有多样性指标上显著优于单字幕基线模型 ISM-LSTM，尤其在 SelfCider 指标上表现突出，该指标衡量生成字幕之间的语义相似性。
• 消融实验表明，基于学习的中心对象选择方法在字幕多样性和准确性方面优于基于规则的方法。
• 该框架生成的字幕能正确建模复杂的多模态关系，例如 'can-sit-next-to-bottle' 和 'bottle-of-energy-drink'，而基线模型无法捕捉此类关系。
• 人工评估证实，MAGIC 生成的字幕在流畅性、准确性和多样性方面均优于消融版本（MAGIC w/o CGAN）。
• t-SNE 可视化结果表明，该模型在无配对设置下学习到了图像和句子特征之间对齐良好且语义一致的潜在空间。