[论文解读] Lift-the-Flap: Context Reasoning Using Object-Centered Graphs.

Mengmi Zhang, Jiashi Feng+4 more|arXiv (Cornell University)|Feb 1, 2019

Multimodal Machine Learning Applications参考文献 27被引用 3

一句话总结

本文提出Lift-the-Flap模型，一种基于物体中心图的计算模型，通过场景上下文推理图片中翻盖后隐藏的物体。通过将图神经网络与强化学习结合，该模型在上下文感知物体推理任务中表现优于基线模型和人类基准，展现出在视觉推理和目标预激活任务中的优异性能。

ABSTRACT

Children benefit from lift-the-flap books by taking on an active role in guessing what is behind the flap based on the context. In this paper, we introduce lift-the-flap games for computational models. The task is to reason about the scene context and infer what the target behind the flap is in a natural image. Context reasoning is critical in many computer vision applications, such as object recognition and semantic segmentation. To tackle this problem, we propose an object-centered graph representing the scene configuration of the image where each node corresponds to a group of objects belonging to the same category. To infer the target's class label, we introduce an object-centered graph network model consisting of two sub-networks. The classification sub-network takes the complete graph as input and outputs a classification vector assigning the probability for each class. The reinforcement learning sub-network exploits the class label dependencies and learns the joint probability among objects in order to generate multiple reasonable answers for the missing target. To evaluate our model's performance, we carry out human behavioral experiments for lift-the-flap games as a benchmark. Our model makes reasonable inferences compared to humans, and significantly outperforms all the null models. We also demonstrate the usefulness of our object-centered graph network model in context-aware object recognition and target priming in visual search.

研究动机与目标

• 开发一种计算模型，模拟人类在翻盖场景中的上下文推理能力，即基于视觉上下文推断隐藏物体的身份。
• 通过在场景中建模物体类别之间的关系，解决计算机视觉中的上下文感知物体识别挑战。
• 通过人类行为实验构建翻盖游戏基准，用于评估视觉推理模型。
• 通过利用物体之间的上下文依赖关系，提升目标预激活机制，从而改善视觉搜索性能。
• 设计一种基于图的架构，捕捉物体类别之间的联合概率分布，以支持多假设推理。

提出的方法

• 模型将场景表示为物体中心图，其中每个节点对应同一类别的物体组。
• 分类子网络处理完整图，输出每个物体类别的概率分布。
• 强化学习子网络学习类别标签之间的依赖关系，以生成缺失目标的多个合理假设。
• 物体中心图网络整合两个子网络，联合推理物体配置并推断隐藏物体。
• 模型使用从真实世界图像中提取的人工标注的翻盖游戏基准进行训练与评估。
• 该框架应用于上下文感知物体识别与视觉搜索预激活任务，展示了在核心任务之外的泛化能力。

实验结果

研究问题

• RQ1 计算模型在利用场景上下文推断翻盖后隐藏物体身份方面表现如何？
• RQ2 物体中心图表示能否有效建模物体类别之间的关系以支持视觉推理？
• RQ3 将强化学习与图网络结合是否能提升对缺失物体的多假设预测性能？
• RQ4 该模型在翻盖推理任务中的表现与人类相比如何？
• RQ5 该模型在多大程度上能增强上下文感知物体识别与视觉搜索中的目标预激活性能？

主要发现

• 该模型在所有零模型（null models）中均取得显著性能提升，证明其具备强大的上下文理解能力。
• 该模型能为缺失目标生成多个合理假设，反映出物体类别之间的联合概率分布。
• 人类行为实验表明，该模型的推理结果在定性和定量上均与人类表现相当。
• 物体中心图表示能有效捕捉场景配置，并支持对隐藏物体的准确推理。
• 该模型在上下文感知物体识别与视觉搜索目标预激活任务中表现更优，验证了其更广泛的应用潜力。
• 强化学习子网络成功学习到标签间依赖关系，使预测结果比基线模型更具连贯性与合理性。