[论文解读] TopicFM: Robust and Interpretable Topic-Assisted Feature Matching

Khang Truong Giang, Soohwan Song+1 more|arXiv (Cornell University)|Jul 1, 2022

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

TopicFM 提出了一种鲁棒、可解释且高效的图像匹配方法，通过主题建模将图像建模为潜在语义主题上的多项分布，实现聚焦于共可见语义结构的概率特征匹配。该方法在具有挑战性的场景中表现卓越，尤其在大视角和光照变化下表现突出，同时提供基于主题的人工可解释性匹配说明。

ABSTRACT

This study addresses an image-matching problem in challenging cases, such as large scene variations or textureless scenes. To gain robustness to such situations, most previous studies have attempted to encode the global contexts of a scene via graph neural networks or transformers. However, these contexts do not explicitly represent high-level contextual information, such as structural shapes or semantic instances; therefore, the encoded features are still not sufficiently discriminative in challenging scenes. We propose a novel image-matching method that applies a topic-modeling strategy to encode high-level contexts in images. The proposed method trains latent semantic instances called topics. It explicitly models an image as a multinomial distribution of topics, and then performs probabilistic feature matching. This approach improves the robustness of matching by focusing on the same semantic areas between the images. In addition, the inferred topics provide interpretability for matching the results, making our method explainable. Extensive experiments on outdoor and indoor datasets show that our method outperforms other state-of-the-art methods, particularly in challenging cases. The code is available at https://github.com/TruongKhang/TopicFM.

研究动机与目标

• 解决现有无检测器特征匹配方法在处理大视角和光照变化时的局限性。
• 通过引入超越低级特征的高级语义和结构上下文，提升特征的判别能力。
• 通过学习并可视化图像中的潜在语义主题（如物体、形状），实现匹配结果的可解释性。
• 通过仅聚焦于共可见语义区域来减少计算成本，提升实时应用的效率。
• 开发一种端到端、高效的架构，在无需大量数据增强或针对每组数据集进行微调的情况下保持高精度。

提出的方法

• 将每张图像建模为潜在主题上的多项分布，其中每个主题代表一个高级语义实例（如物体、结构形状）。
• 使用可学习的基于Transformer的模块从图像特征中推断主题，实现可微分的端到端训练。
• 通过基于主题分布对齐特征来执行概率特征匹配，强调同一语义主题内的匹配。
• 将主题感知表示集成到局部视觉特征中，以增强其独特性和鲁棒性。
• 采用粗到精框架，结合轻量级网络，加速推理过程，同时仅聚焦于重叠的共可见主题区域。
• 利用图像对之间的主题一致性来引导匹配，减少在无纹理或重复场景中的误匹配。

实验结果

研究问题

• RQ1 主题建模能否有效编码高级语义和结构上下文，从而在大视角和光照变化下提升图像匹配的鲁棒性？
• RQ2 学习到的主题能否为特征匹配决策提供有意义且人类可解释的说明？
• RQ3 基于主题的匹配能否通过仅聚焦于共可见语义区域来降低计算成本，从而实现实时性能？
• RQ4 与SOTA无检测器方法相比，主题辅助匹配在准确率和跨多样化数据集的泛化能力方面表现如何？
• RQ5 在单一数据集（如MegaDepth）上训练的统一模型，能否在无需微调的情况下有效泛化到其他领域（如室内ScanNet）？

主要发现

• TopicFM在MegaDepth和ScanNet数据集上均超越了SOTA方法，尤其在大视角和光照变化的挑战性场景中表现优异。
• 在Aachen Day-Night v1.1基准测试中，TopicFM实现了具有竞争力的性能，与SP+SuperGlue的最佳结果相当，且仅使用在MegaDepth上训练的单一统一模型。
• 在InLoc数据集中，TopicFM取得了最佳平均性能，尤其在DUC1子集上具有显著优势，尽管未针对室内场景进行微调。
• 可视化结果证实，TopicFM成功将图像划分为语义一致的区域（如“人”、“树”、“地面”、“建筑部件”），且图像对之间主题分配具有一致性。
• 该方法展现出强大的泛化能力：即使仅在室外MegaDepth数据集上训练，也能有效泛化到室内ScanNet数据集，如主题可视化和匹配准确率所示。
• 由于采用了高效的主题引导匹配策略，TopicFM实现了实时推理速度，避免了在整个图像域上进行密集的全量匹配。