[論文レビュー] Learning Cross-view Geo-localization Embeddings via Dynamic Weighted Decorrelation Regularization

Tingyu Wang, Zhedong Zheng+4 more|arXiv (Cornell University)|Nov 10, 2022

Video Surveillance and Tracking Methods被引用数 11

ひとこと要約

本稿では、特徴チャネル間の独立性を動的重み付けにより促進することで、クロスビュー地理局所化埋め込みの冗長性を低減する、新たな正則化手法である動的重み付き相関除去正則化（DWDR）を提案する。この手法は、University-1652、CVUSA、CVACTのリtrieval精度を向上させ、特に低次元特徴設定下でも顕著な効果を示す。また、ドローンと衛星プラットフォーム間のトレーニングデータをバランスさせる対称的サンプリング戦略を導入している。

ABSTRACT

Cross-view geo-localization aims to spot images of the same location shot from two platforms, e.g., the drone platform and the satellite platform. Existing methods usually focus on optimizing the distance between one embedding with others in the feature space, while neglecting the redundancy of the embedding itself. In this paper, we argue that the low redundancy is also of importance, which motivates the model to mine more diverse patterns. To verify this point, we introduce a simple yet effective regularization, i.e., Dynamic Weighted Decorrelation Regularization (DWDR), to explicitly encourage networks to learn independent embedding channels. As the name implies, DWDR regresses the embedding correlation coefficient matrix to a sparse matrix, i.e., the identity matrix, with dynamic weights. The dynamic weights are applied to focus on still correlated channels during training. Besides, we propose a cross-view symmetric sampling strategy, which keeps the example balance between different platforms. Albeit simple, the proposed method has achieved competitive results on three large-scale benchmarks, i.e., University-1652, CVUSA and CVACT. Moreover, under the harsh circumstance, e.g., the extremely short feature of 64 dimensions, the proposed method surpasses the baseline model by a clear margin.

研究の動機と目的

• クロスビュー地理局所化埋め込みにおける冗長な特徴チャネルの問題に対処し、識別性と一般化性能の制限要因を解消すること。
• トレーニング中に埋め込みチャネル間の相関を明示的に低減することで、モデル性能を向上させること。
• 最適化が飽和するのを避けるために、うまく回帰されていない相関要素に焦点を当てて動的最適化を実行する正則化手法を開発すること。
• 対称的サンプリング戦略により、ドローンと衛星プラットフォーム間のトレーニングデータ分布をバランスさせること。

提案手法

• DWDRは、正のクロスビューペアのピアソン相互相関係数行列と単位行列との間の二乗損失を最小化することで、埋め込みチャネルの直交性を促進する。
• 回帰距離に基づいて相関行列損失の各要素に動的重みを割り当て、ターゲット（単位行列）から遠く離れている要素を優先的に最適化することで、最適化効率を向上させる。
• 対称的サンプリング戦略により、各トレーニングバッチにドローン画像と衛星画像が等量になるように保証し、プラットフォーム間の表現バランスを維持する。
• 従来のメトリック学習損失関数（三重損失やソフトマージン三重損失など）と統合可能である。
• 有効受容 field が拡大され、局所的パターンへの過学習が軽減され、特徴の識別性が向上する。
• 内部ビュー対比とクロスビュー対比のデコルレーションに関するアブレーションスタディを実施している。

実験結果

リサーチクエスチョン

• RQ1 深層埋め込みチャネルの冗長性を低減することで、クロスビュー地理局所化性能が向上するか？
• RQ2 相関行列要素に対する動的重み付けは、デコルレーション正則化における最適化効率をどのように向上させるか？
• RQ3 クロスプラットフォームリtrieval設定において、クロスビューデコルレーション正則化はインナービュー正則化を上回るか？
• RQ4 対称的サンプリング戦略は、トレーニングの安定性とモデル一般化性能をどの程度向上させるか？
• RQ5 極めて短い特徴次元（例：64次元）下でも、提案手法はどの程度ロバストか？

主な発見

• DWDRはUniversity-1652で顕著な性能向上を示し、ドローンから衛星への設定でR@1が69.77%、APが73.73%を達成した。
• CVUSAでは、衛星からドローンへのリtrievalタスクでR@1が81.46%、APが70.45%を達成した。
• CVACTでは、内部ビューとクロスビューの両方のDWDRを組み合わせた場合、R@1が82.45%、APが70.86%を達成した。
• 64次元特徴制約下でもベースラインを明確に上回り、低次元表現へのロバスト性を示した。
• アブレーションスタディの結果、クロスビューDWDRはインナービューDWDRよりも有効であり、両方を組み合わせるとわずかな向上が得られるため、クロスビューデコルレーションが主因であることが確認された。
• 定性的な結果では、ヒートマップにおける関連地理領域の活性化が広がり、特に複雑なシーンでもより正確なリtrieval結果が得られた。