[论文解读] Deep Multi-Modal Image Correspondence Learning

Chen Liu, Jiajun Wu+2 more|arXiv (Cornell University)|Dec 5, 2016

Advanced Image and Video Retrieval Techniques参考文献 30被引用 4

一句话总结

本文提出使用深度神经网络实现平面图与室内照片之间的跨模态图像对应——这两种视觉模态差异极大——基于包含500万张平面图和8000万张照片的大规模数据集。所提出的模型，包括孪生网络和基于集合的架构，通过学习检测并对齐跨模态中的显著物体（如浴缸和洗手盆），在匹配准确率上超越人类，在具有挑战性的多模态匹配任务中达到最先进性能。

ABSTRACT

Inference of correspondences between images from different modalities is an extremely important perceptual ability that enables humans to understand and recognize cross-modal concepts. In this paper, we consider an instance of this problem that involves matching photographs of building interiors with their corresponding floorplan. This is a particularly challenging problem because a floorplan, as a stylized architectural drawing, is very different in appearance from a color photograph. Furthermore, individual photographs by themselves depict only a part of a floorplan (e.g., kitchen, bathroom, and living room). We propose the use of a number of different neural network architectures for this task, which are trained and evaluated on a novel large-scale dataset of 5 million floorplan images and 80 million associated photographs. Experimental evaluation reveals that our neural network architectures are able to identify visual cues that result in reliable matches across these two quite different modalities. In fact, the trained networks are able to even outperform human subjects in several challenging image matching problems. Our result implies that neural networks are effective at perceptual tasks that require long periods of reasoning even for humans to solve.

研究动机与目标

• 解决将平面图（风格化的建筑图纸）与真实室内照片进行匹配的挑战性问题，二者在外观和视角上存在显著差异。
• 开发能够跨极大差异的视觉模态进行推理的深度学习模型，即使仅提供平面图的部分视图亦可实现匹配。
• 通过亚马逊机械 Turk（Amazon Mechanical Turk）建立人类基线，用于基准测试复杂、长推理过程的跨模态匹配任务性能。
• 实现新型应用，如基于学习到的跨模态对应关系实现的自动化图像排版、检索与定位。

提出的方法

• 提出一种孪生神经网络架构，用于学习单张照片与平面图图像之间的相似性度量。
• 引入一种基于集合的匹配网络，用于处理无序的照片集合，利用注意力机制对多个图像输入进行推理。
• 采用感受野（RF）可视化技术，解释模型行为，识别网络在预测过程中关注平面图的哪些区域。
• 使用滑动窗口噪声注入方法生成激活图，突出显示与给定照片相对应的平面图中的相关区域。
• 通过图像编辑（例如移除洗手盆）验证网络是否依赖于可检测物体及其在平面图中的符号化表示。
• 利用基于简化的可视化方法，精确定位平面图中与特定照片对应的图像区域。

实验结果

研究问题

• RQ1 尽管平面图与室内照片存在极端视觉差异，深度神经网络是否能够学习到可靠的跨模态对应关系？
• RQ2 神经网络如何处理部分视觉输入，并将其与平面图中的对应区域进行匹配？
• RQ3 在复杂、长注意力的跨模态匹配任务中，学习到的表征在多大程度上能超越人类表现？
• RQ4 模型使用了哪些视觉线索实现高准确率？这些线索能否通过可视化技术进行解释？
• RQ5 在平面图与照片之间实现稳健的跨模态图像对应，能够支持哪些新型应用？

主要发现

• 所提出的深度神经网络在匹配准确率上显著优于人类受试者，后者通常需要30秒或以上完成每项测试，而模型仅需毫秒级时间做出预测。
• 所有测试房间类型中，模型均优于人类表现，其中浴室和厨房的准确率提升最为显著，表明物体级推理是关键因素。
• 感受野可视化结果证实，网络学习到关注平面图中与照片所呈现房间相对应的特定区域。
• 物体移除实验表明，当关键物体（如浴缸或洗手盆）被移除时，相似度分数显著下降，证实网络依赖于可检测物体及其符号化表示。
• 基于简化的定位方法成功隔离出与照片精确对应的平面图区域，实现了准确的空间定位。
• 利用训练好的模型成功演示了自动化图像排版、检索与定位等应用，为房地产和可视化系统带来了新能力。