[论文解读] Heterogeneous Graph Learning for Visual Commonsense Reasoning

Weijiang Yu, Jingwen Zhou+3 more|arXiv (Cornell University)|Oct 25, 2019

Multimodal Machine Learning Applications被引用 18

一句话总结

该论文提出了一种新型框架——异构图学习（Heterogeneous Graph Learning, HGL），通过双异构图模块——视觉到答案异构图（Vision-to-Answer Heterogeneous Graph, VAHG）与问题到答案异构图（Question-to-Answer Heterogeneous Graph, QAHG）——实现视觉与语言推理的统一，支持可解释的、语义对齐的推理。通过联合优化域内与跨域关系，并引入上下文投票模块（Contextual Voting Module, CVM）以捕捉全局上下文，HGL在Q→AR任务上实现5.8%的准确率提升，Q→A任务上提升5%，QA→R任务上提升3.5%，达到当前最优性能。

ABSTRACT

Visual commonsense reasoning task aims at leading the research field into solving cognition-level reasoning with the ability of predicting correct answers and meanwhile providing convincing reasoning paths, resulting in three sub-tasks i.e., Q->A, QA->R and Q->AR. It poses great challenges over the proper semantic alignment between vision and linguistic domains and knowledge reasoning to generate persuasive reasoning paths. Existing works either resort to a powerful end-to-end network that cannot produce interpretable reasoning paths or solely explore intra-relationship of visual objects (homogeneous graph) while ignoring the cross-domain semantic alignment among visual concepts and linguistic words. In this paper, we propose a new Heterogeneous Graph Learning (HGL) framework for seamlessly integrating the intra-graph and inter-graph reasoning in order to bridge vision and language domain. Our HGL consists of a primal vision-to-answer heterogeneous graph (VAHG) module and a dual question-to-answer heterogeneous graph (QAHG) module to interactively refine reasoning paths for semantic agreement. Moreover, our HGL integrates a contextual voting module to exploit a long-range visual context for better global reasoning. Experiments on the large-scale Visual Commonsense Reasoning benchmark demonstrate the superior performance of our proposed modules on three tasks (improving 5% accuracy on Q->A, 3.5% on QA->R, 5.8% on Q->AR)

研究动机与目标

• 解决视觉常识推理任务中视觉与语言之间语义错位的挑战。
• 克服现有同构图模型忽略视觉与语言概念之间跨域关系的局限性。
• 通过建模域内视觉关系与跨域（视觉到语言）交互，实现可解释的推理路径。
• 通过新型上下文投票模块（CVM）从低级特征聚合长程视觉上下文，提升全局场景理解能力。
• 在三个VCR基准上实现当前最优性能：Q→A、QA→R与Q→AR。

提出的方法

• 构建视觉到答案异构图（VAHG），通过学习的节点嵌入将视觉实体（如‘人’、‘瓶子’）与语言概念（如‘倒进’）对齐。
• 设计问题到答案异构图（QAHG），将问题语义与答案推理路径连接，生成具有说服力的推理路径。
• 采用联合推理机制，基于问题上下文与图像特征，迭代优化VAHG与QAHG的表示。
• 集成上下文投票模块（CVM），从低级特征聚合长程视觉上下文，以增强全局场景表征。
• 应用引导机制，利用演化后的异构图表示进行最终答案预测。
• 利用置信度加权注意力机制，学习节点相关性，并在推理过程中动态演化图结构。

实验结果

研究问题

• RQ1 异构图学习框架能否有效弥合视觉与语言在视觉常识推理中的语义鸿沟？
• RQ2 与同构图模型相比，整合跨域关系（如视觉到答案）在提升推理路径可解释性与准确率方面有何优势？
• RQ3 同时建模域内视觉关系与跨模态关系在Q→A、QA→R与Q→AR任务上的性能提升程度如何？
• RQ4 上下文投票模块（CVM）能否通过捕捉局部对象特征之外的长程视觉上下文，提升推理性能？
• RQ5 VAHG、QAHG与CVM在整体性能提升中的个体贡献分别是什么？

主要发现

• HGL在VCR基准上实现当前最优性能，相比先前方法，Q→AR任务准确率提升5.8%，Q→A任务提升5%，QA→R任务提升3.5%。
• 仅上下文投票模块（CVM）便在Q→A任务上提升1.8%，QA→R任务上提升1.2%，Q→AR任务上提升3.1%，证明其在全局上下文建模中的有效性。
• QAHG模块在所有任务中贡献约1.0%的准确率提升，验证其通过连接问题与答案语义以生成有说服力推理路径的作用。
• VAHG模块在Q→A任务上使基线准确率提升2.6%，QA→R任务上提升2.1%，Q→AR任务上提升3.3%，表明视觉与语言节点之间具有强对齐能力。
• 消融实验表明，结合VAHG、QAHG与CVM可达到最高性能（Q→A为69.4%，QA→R为70.6%，Q→AR为49.1%），且HGL无CVM版本在Q→AR任务上仍比基线高出5.6%。
• 定性分析表明，HGL能成功捕捉功能动作（如‘倒进’）与情感线索（如‘生气’），并将其与视觉与语言节点关联，实现连贯推理。