[论文解读] DenserNet: Weakly Supervised Visual Localization Using Multi-scale Feature Aggregation

Dongfang Liu, Yiming Cui+4 more|arXiv (Cornell University)|Dec 4, 2020

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

DenserNet 提出了一种弱监督的 CNN 架构，通过聚合来自不同语义层级的多尺度特征，生成更密集的关键点特征，从而提升视觉定位精度。仅使用 GPS 标记的图像对，该方法采用一种新颖的三元组排序损失，在四个大规模定位和三个图像检索基准上实现了最先进性能，且在使用轻量级 MobileNet 主干网络时，推理速度相比同类模型提升了 4 倍。

ABSTRACT

In this work, we introduce a Denser Feature Network (DenserNet) for visual localization. Our work provides three principal contributions. First, we develop a convolutional neural network (CNN) architecture which aggregates feature maps at different semantic levels for image representations. Using denser feature maps, our method can produce more keypoint features and increase image retrieval accuracy. Second, our model is trained end-to-end without pixel-level annotation other than positive and negative GPS-tagged image pairs. We use a weakly supervised triplet ranking loss to learn discriminative features and encourage keypoint feature repeatability for image representation. Finally, our method is computationally efficient as our architecture has shared features and parameters during computation. Our method can perform accurate large-scale localization under challenging conditions while remaining the computational constraint. Extensive experiment results indicate that our method sets a new state-of-the-art on four challenging large-scale localization benchmarks and three image retrieval benchmarks.

研究动机与目标

• 在遮挡、光照变化和季节性变化等具有挑战性的现实条件下，提升视觉定位精度。
• 通过跨多个语义层级聚合特征，解决现有基于 CNN 方法中单层级特征提取的局限性。
• 仅使用 GPS 标记的图像对，无需昂贵的像素级标注，训练出鲁棒的视觉定位模型。
• 在保持强性能的同时实现高计算效率，支持在轻量级主干网络上的部署。
• 通过改进的三元组排序损失进行弱监督学习，提升特征的可重复性和判别性。

提出的方法

• DenserNet 采用多尺度特征聚合模块，从 CNN 主干网络（如 MobileNet 或 VGG）的低层、中层和高层特征中提取并融合多尺度特征。
• 该架构使用并行的特征提取分支，相比单层级方法（如 NetVLAD 或 CRN），生成更密集的关键点特征。
• 采用共享特征表示策略，减少计算开销，因为在前向传播过程中特征可在各分支间复用。
• 模型采用端到端训练，损失函数为弱监督的三元组排序损失，其目标是使正样本对的特征表示比负样本对更接近。
• 集成特征注意力机制，突出显示判别性强的区域（如独特的建筑细节），同时抑制混淆性线索（如行人、车辆）。
• 该方法具有灵活性，可适配轻量级主干网络，实现在极小精度损失下显著提升推理速度。

实验结果

研究问题

• RQ1 在具有挑战性的环境条件下，从不同语义层级聚合多尺度特征是否能显著提升视觉定位精度？
• RQ2 仅使用 GPS 标记的图像对的弱监督学习方法，在视觉定位任务中，其性能在多大程度上可超越完全监督方法？
• RQ3 与单层级特征提取相比，所提出的特征聚合机制在关键点特征密度和匹配鲁棒性方面表现如何？
• RQ4 轻量级 DenserNet 变体是否能在显著提升推理速度的同时保持高精度，超越当前最先进模型？
• RQ5 所提出的弱监督三元组损失在无像素级监督条件下，是否能有效学习到判别性强且可重复的特征？

主要发现

• DenserNet 仅使用 GPS 标记的图像对且无需像素级标注，在四个大规模视觉定位基准（Pitts30k、Tokyo24/7、Oxford5k 和 Paris6k）上实现了最先进性能。
• 在 Oxford5k 数据集（完整图像）上，基于 VGG 的 DenserNet 实现 mAP 为 89.40%，领先第二名方法 3.71%。
• 在 Paris6k 数据集（裁剪图像）上，基于 MobileNet 的 DenserNet 实现 mAP 为 87.82%，领先第二名方法 2.93%。
• 基于 MobileNet 的 DenserNet 版本平均推理时间为 23ms（包含主干网络、特征分支和解码器），相比使用 VGG 主干的 CRN 和 NetVLAD 模型快 4 倍。
• 与先前方法相比，该模型生成的关键点特征显著更密集，提升了内点匹配数量，并增强了对遮挡和光照变化的鲁棒性。
• 可视化结果表明，DenserNet 更关注独特的建筑细节，而非易混淆的场景元素，证明其在特征注意力和定位相关性方面有显著提升。