[论文解读] Consensus Graph Representation Learning for Better Grounded Image Captioning

Wenqiao Zhang, Haochen Shi+4 more|arXiv (Cornell University)|Dec 1, 2021

Multimodal Machine Learning Applications被引用 5

一句话总结

本文提出了一种名为共识图表示学习（Consensus Graph Representation Learning, CGRL）的新框架，用于基于图像的字幕生成任务，通过生成对抗性结构网络对齐视觉与语言场景图，以增强语义一致性。通过利用共识表示，CGRL在Flickr30k Entities数据集上将物体幻觉减少9%，并提升了字幕生成性能（Cider +2.9）与定位性能（F1 LOC +2.3）。

ABSTRACT

The contemporary visual captioning models frequently hallucinate objects that are not actually in a scene, due to the visual misclassification or over-reliance on priors that resulting in the semantic inconsistency between the visual information and the target lexical words. The most common way is to encourage the captioning model to dynamically link generated object words or phrases to appropriate regions of the image, i.e., the grounded image captioning (GIC). However, GIC utilizes an auxiliary task (grounding objects) that has not solved the key issue of object hallucination, i.e., the semantic inconsistency. In this paper, we take a novel perspective on the issue above - exploiting the semantic coherency between the visual and language modalities. Specifically, we propose the Consensus Rraph Representation Learning framework (CGRL) for GIC that incorporates a consensus representation into the grounded captioning pipeline. The consensus is learned by aligning the visual graph (e.g., scene graph) to the language graph that consider both the nodes and edges in a graph. With the aligned consensus, the captioning model can capture both the correct linguistic characteristics and visual relevance, and then grounding appropriate image regions further. We validate the effectiveness of our model, with a significant decline in object hallucination (-9% CHAIRi) on the Flickr30k Entities dataset. Besides, our CGRL also evaluated by several automatic metrics and human evaluation, the results indicate that the proposed approach can simultaneously improve the performance of image captioning (+2.9 Cider) and grounding (+2.3 F1LOC).

研究动机与目标

• 解决视觉与语言模态之间语义不一致所导致的视觉字幕模型中物体与属性幻觉的长期问题。
• 克服现有基于图像定位字幕（GIC）方法仅依赖区域定位的局限性，这些方法无法纠正属性与关系中的幻觉现象。
• 通过学习对齐的视觉与语言场景图中的共识表示，提升多模态推理能力，模拟人类在信息不一致或不完整时的推理方式。
• 通过将共识知识整合到字幕生成与区域注意力机制中，同时提升字幕质量与定位准确性。
• 证明基于共识的推理可生成比基线GIC方法更语义一致、更准确、更详细的图像描述。

提出的方法

• 在训练过程中，从图像构建视觉场景图（$\mathcal{SG}^{\mathcal{V}}$），从真实字幕构建语言场景图（$\mathcal{SG}^{\mathcal{L}}$）。
• 使用图卷积网络（GCN）在视觉与语言图的三个统一层级上编码节点（物体、属性、关系）。
• 实施生成对抗性结构网络（GASN），通过跨模态匹配节点与边，对齐编码后的视觉与语言图。
• 学习共识表示 $\tilde{\mathbf{u}}$，通过最小化分布差异来保持视觉与语言之间的语义一致性。
• 通过结合共识注意力与基于区域的视觉注意力的双注意力机制，将共识表示集成到字幕解码器中。
• 采用联合目标端到端训练模型，同时优化字幕生成（如Cider）与定位（如F1 LOC）性能。

实验结果

研究问题

• RQ1 共识表示学习在多大程度上减少了基于图像定位字幕中的物体幻觉？
• RQ2 共识表示如何改善属性与关系的建模，而这些往往是现有GIC模型中容易产生幻觉的部分？
• RQ3 共识推理是否能够同时提升字幕质量与定位准确性，超越仅依赖区域定位所能达到的效果？
• RQ4 通过GASN对齐视觉与语言场景图，在跨模态语义一致性方面起到了什么作用？
• RQ5 在生成准确且定位良好的字幕时，共识知识相较于原始视觉或文本图的相对贡献是什么？

主要发现

• 所提出的CGRL框架在Flickr30k Entities数据集上，通过CHAIR i指标测量，将物体幻觉减少了9%。
• CGRL相较于基线模型在Cider得分上提升了+2.9，表明字幕质量与流畅性显著提高。
• 该模型在定位性能上提升了+2.3 F1 LOC，表明在将生成词汇与正确图像区域关联方面具有更高的准确性。
• 人工评估确认，CGRL生成的描述更准确，其在物体、关系与属性召回率（R object, R relationship, Rt attribute）方面得分更高。
• 基于共识的变体（CGRL）在所有指标上均优于消融版本（CGRL w/o CR），证明了共识推理的关键作用。
• t-SNE可视化结果表明，共识表示能更好地将视觉与语言特征对齐于共享嵌入空间，支持语义一致性的提升。