[论文解读] Image Stylization for Robust Features

Iaroslav Melekhov, Gabriel Brostow+2 more|arXiv (Cornell University)|Aug 16, 2020

Advanced Image and Video Retrieval Techniques参考文献 36被引用 15

一句话总结

本文提出在训练过程中使用图像风格迁移，以提升局部特征对昼夜、天气和季节变化等外观差异的鲁棒性。通过将多个风格化图像版本（例如夜间、下雪、下雨）与合成单应变换结合，使R2D2特征能够在极端视觉条件下实现泛化，从而在无需3D对应关系或真实世界3D重建的情况下，在视觉定位基准测试中达到最先进性能。

ABSTRACT

Local features that are robust to both viewpoint and appearance changes are crucial for many computer vision tasks. In this work we investigate if photorealistic image stylization improves robustness of local features to not only day-night, but also weather and season variations. We show that image stylization in addition to color augmentation is a powerful method of learning robust features. We evaluate learned features on visual localization benchmarks, outperforming state of the art baseline models despite training without ground-truth 3D correspondences using synthetic homographies only. We use trained feature networks to compete in Long-Term Visual Localization and Map-based Localization for Autonomous Driving challenges achieving competitive scores.

研究动机与目标

• 提升视觉定位中对昼夜、天气和季节变化等外观差异的局部特征鲁棒性。
• 探究图像风格迁移是否能超越标准色彩增强，提升特征泛化能力。
• 评估基于风格迁移的数据增强是否可替代或优于使用3D对应关系或SfM重建进行训练。
• 在Long-Term Visual Localization和自动驾驶地图定位等真实世界基准上展示具有竞争力的性能。
• 探索在训练过程中使用多种风格化样式（如夜间、下雪、下雨）的有效性。

提出的方法

• 使用神经风格迁移生成的原始图像与风格化图像对来训练特征网络。
• 对原始图像和风格化图像均应用合成单应变换，以裁剪图像块来模拟视角变化。
• 使用多种风格化目标（如不同风格的夜间、下雪或下雨）以增加外观增强的多样性。
• 在不依赖3D对应关系的情况下，结合合成单应变换与风格化图像对来训练基于R2D2的特征网络。
• 在基准数据集上，采用标准特征匹配与检索流程（如Radenovic等人提出的）进行定位性能评估。
• 在不同光照、天气和季节条件的数据集上评估性能。

实验结果

研究问题

• RQ1 在训练过程中使用图像风格迁移是否能提升局部特征对昼夜和季节性外观变化的鲁棒性？
• RQ2 与标准色彩增强相比，基于风格迁移的增强在应对外观变化时的鲁棒性如何？
• RQ3 基于风格迁移的数据增强能否实现与使用3D对应关系或SfM重建训练的模型相当或更优的性能？
• RQ4 风格迁移的优势是否依赖于所用风格化样式的数量和多样性？
• RQ5 在无真实3D数据的情况下，基于风格化图像的增强是否能提升真实世界视觉定位基准的性能？

主要发现

• 在ECCV 2020自动驾驶车辆长期视觉定位挑战赛中，使用合成单应变换和图像风格迁移训练的模型在'夜间'序列上，于0.1m、0.2m和0.5m阈值下的成功率达到30.5% / 53.8% / 78.8%，优于最先进基线模型。
• 在自动驾驶地图定位挑战赛中，10k R2D2-P-O2S模型在更具挑战性的'test_sequence1'上，于0.1m、0.2m和0.5m阈值下的成功率达到13.2% / 26.0% / 47.8%，优于Superpoint和D2-Net基线模型。
• 在Extended CMU Seasons数据集上，模型在'day all'划分上的准确率达到93.8% / 96.6% / 98.2%，展现出在不同季节和光照条件下的强大泛化能力。
• 消融实验确认，与仅使用色彩增强相比，风格迁移带来了显著性能提升，尤其在雪天和夜间等极端条件下。
• 在Aachen Day-Night基准测试中，模型取得了87.1% / 94.7% / 98.3%的准确率（'白天'划分）和74.3% / 86.9% / 97.4%的准确率（'夜间'划分），表明其具备出色的昼夜泛化能力。
• 尽管训练过程中未使用任何3D对应关系或SfM数据，该模型在多个基准测试中仍达到最先进性能，证明了风格迁移作为数据增强策略的有效性。