[论文解读] All Graphs Lead to Rome: Learning Geometric and Cycle-Consistent Representations with Graph Convolutional Networks

Stephen Phillips, Kostas Daniilidis|arXiv (Cornell University)|Jan 7, 2019

Advanced Image and Video Retrieval Techniques参考文献 30被引用 9

一句话总结

该论文提出了一种基于图卷积网络（GCN）的方法，通过从成对对应关系中学习几何一致性和循环一致性表征，实现无监督的多图像特征匹配。利用循环一致性和几何约束作为损失信号，无需真实标签，该模型在推理阶段仅需一次前向传播，相比基于优化的基线方法显著更快，同时保持了具有竞争力的准确性。

ABSTRACT

Image feature matching is a fundamental part of many geometric computer vision applications, and using multiple images can improve performance. In this work, we formulate multi-image matching as a graph embedding problem then use a Graph Convolutional Network to learn an appropriate embedding function for aligning image features. We use cycle consistency to train our network in an unsupervised fashion, since ground truth correspondence is difficult or expensive to aquire. In addition, geometric consistency losses can be added at training time, even if the information is not available in the test set, unlike previous approaches that optimize cycle consistency directly. To the best of our knowledge, no other works have used learning for multi-image feature matching. Our experiments show that our method is competitive with other optimization based approaches.

研究动机与目标

• 通过强制执行循环一致性，解决多幅图像间成对特征匹配中的全局不一致性问题。
• 克服训练深度神经网络进行多视角匹配时对昂贵且人工标注的对应关系的依赖。
• 在训练过程中整合几何一致性损失（如基础矩阵约束），即使在测试时无法获取此类数据。
• 开发一种直接作用于对应关系图的深度学习框架，实现在多样化图像集上的鲁棒特征匹配。
• 证明仅使用无监督循环一致性损失的简单GCN可实现与复杂基于优化的方法相当或更优的准确性，同时推理速度更快。

提出的方法

• 将多图像特征匹配建模为图嵌入问题，使用对应关系图，其中节点为图像特征，边表示候选匹配。
• 应用12层图卷积网络（GCN），激活函数为ReLU，并引入跳跃连接，以学习邻接矩阵的低维、循环一致的嵌入。
• 使用从GCN输出派生的相似性矩阵的重建损失进行GCN训练，将其与噪声输入邻接矩阵进行比较——无需真实标签。
• 在训练过程中引入几何一致性损失（如对极约束），以提高鲁棒性，尽管测试时无需此类信息。
• 采用软标签评估协议，将输出与经过捆绑调整的3D重建得到的真实邻接矩阵进行比较。
• 在输入层、第6层和第12层之间引入跳跃连接，以稳定训练并提升收敛性和性能。

实验结果

研究问题

• RQ1 无监督的GCN方法能否在无需真实对应关系的情况下，学习到几何一致且循环一致的特征表征？
• RQ2 即使在测试时不可用，几何一致性损失（如对极约束）在多图像匹配训练中能多大程度上提升GCN的性能？
• RQ3 与传统基于优化的循环一致性方法相比，所提出的GCN方法在准确率和推理速度方面表现如何？
• RQ4 在Rome16K等真实世界数据集上，具有最小架构复杂度（如12层）的深度GCN能否实现具有竞争力的结果？
• RQ5 GCN架构中使用跳跃连接是否能显著提升多图像匹配任务的训练稳定性和最终性能？

主要发现

• GCN模型在高噪声的合成图中成功恢复了真实底层结构，表现出对噪声初始描述符的强鲁棒性。
• 在Rome16K数据集上，所提方法在推理阶段仅需一次前向传播，其准确率与运行25–50轮的MatchALS方法相当。
• 在匹配质量和一致性方面，该方法显著优于简单的基于谱的方法基线。
• 尽管在准确率上未超越PGDDS方法，但GCN方法实现了显著更快的推理速度。
• 跳跃连接的引入改善了训练收敛性和最终性能，该结论已在附录材料中得到验证。
• 通过Hinton图对学习到的嵌入进行可视化显示，模型学习到了可解释的低秩表征，当适当旋转后，与真实标签高度对齐。