[论文解读] Learning Cross-view Geo-localization Embeddings via Dynamic Weighted Decorrelation Regularization

Tingyu Wang, Zhedong Zheng+4 more|arXiv (Cornell University)|Nov 10, 2022

Video Surveillance and Tracking Methods被引用 11

一句话总结

本文提出动态加权去相关正则化（DWDR），一种新颖的正则化技术，通过动态加权相关矩阵元素，促进特征通道间的独立性，从而减少跨视角地理定位嵌入中的冗余。该方法在University-1652、CVUSA和CVACT数据集上提升了检索准确率，尤其在低维特征设置下表现更优，并引入了一种对称采样策略，以平衡无人机与卫星平台之间的训练数据。

ABSTRACT

Cross-view geo-localization aims to spot images of the same location shot from two platforms, e.g., the drone platform and the satellite platform. Existing methods usually focus on optimizing the distance between one embedding with others in the feature space, while neglecting the redundancy of the embedding itself. In this paper, we argue that the low redundancy is also of importance, which motivates the model to mine more diverse patterns. To verify this point, we introduce a simple yet effective regularization, i.e., Dynamic Weighted Decorrelation Regularization (DWDR), to explicitly encourage networks to learn independent embedding channels. As the name implies, DWDR regresses the embedding correlation coefficient matrix to a sparse matrix, i.e., the identity matrix, with dynamic weights. The dynamic weights are applied to focus on still correlated channels during training. Besides, we propose a cross-view symmetric sampling strategy, which keeps the example balance between different platforms. Albeit simple, the proposed method has achieved competitive results on three large-scale benchmarks, i.e., University-1652, CVUSA and CVACT. Moreover, under the harsh circumstance, e.g., the extremely short feature of 64 dimensions, the proposed method surpasses the baseline model by a clear margin.

研究动机与目标

• 解决跨视角地理定位嵌入中特征通道冗余的问题，该问题限制了特征的判别力与泛化能力。
• 通过在训练过程中显式减少嵌入通道间的相关性，提升模型性能。
• 开发一种正则化方法，动态聚焦于回归较差的相关性元素的优化，避免优化饱和。
• 通过一种对称采样策略，平衡无人机与卫星平台之间的训练数据分布。

提出的方法

• DWDR最小化正样本跨视角对之间的皮尔逊交叉相关系数矩阵与单位矩阵之间的平方损失，以促进嵌入通道的正交性。
• 基于回归距离，为相关矩阵损失的每个元素分配动态权重，优先优化距离目标（单位矩阵）较远的元素，以提升优化效率。
• 对称采样策略确保每个训练批次中包含相等数量的无人机与卫星图像，维持平台间表示的平衡。
• 该方法可与标准度量学习损失函数（如三元组损失和软边缘三元组损失）结合使用。
• 有效感受野得到扩展，减少了对局部模式的过拟合，提升了特征判别能力。
• 通过消融实验评估了视图内与视图间去相关性以及对称采样策略的影响。

实验结果

研究问题

• RQ1 减少深度嵌入通道中的冗余是否能提升跨视角地理定位性能？
• RQ2 对相关矩阵元素进行动态加权如何提升去相关正则化中的优化效率？
• RQ3 在跨平台检索设置下，跨视图去相关正则化是否优于视图内正则化？
• RQ4 对称采样策略在多大程度上提升了训练稳定性和模型泛化能力？
• RQ5 该方法在极短特征维度（如64D）下表现如何？

主要发现

• 在University-1652数据集中，DWDR在无人机到卫星的设置下，R@1达到69.77%，AP达到73.73%。
• 在CVUSA数据集中，该方法在卫星到无人机的检索任务中，R@1达到81.46%，AP达到70.45%。
• 在CVACT数据集中，结合视图内与视图间DWDR后，R@1达到82.45%，AP达到70.86%。
• 在64维特征约束下，该方法显著优于基线模型，表明其对低维表示具有强鲁棒性。
• 消融实验表明，跨视图DWDR比视图内DWDR更有效，且两者结合仅带来微小增益，表明跨视图去相关是主导因素。
• 定性结果表明，热力图中相关地理区域的激活范围更广，检索结果更准确，尤其在复杂场景中表现更优。