[論文レビュー] DenserNet: Weakly Supervised Visual Localization Using Multi-scale Feature Aggregation

Dongfang Liu, Yiming Cui+4 more|arXiv (Cornell University)|Dec 4, 2020

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

DenserNetは、異なる意味的レベルからのマルチスケール特徴を統合することで、より密度の高いキーポイント特徴を生成する弱教師付きCNNアーキテクチャを提案する。GPSタグ付き画像ペアのみを用いた新しいトリプレットランク損失により、4つの大規模なローカライゼーションベンチマークおよび3つの画像リtrievalベンチマークでSOTA性能を達成し、軽量なMobileNetバックボーンを用いる場合、同等のモデル比で4倍の高速化を実現した。

ABSTRACT

In this work, we introduce a Denser Feature Network (DenserNet) for visual localization. Our work provides three principal contributions. First, we develop a convolutional neural network (CNN) architecture which aggregates feature maps at different semantic levels for image representations. Using denser feature maps, our method can produce more keypoint features and increase image retrieval accuracy. Second, our model is trained end-to-end without pixel-level annotation other than positive and negative GPS-tagged image pairs. We use a weakly supervised triplet ranking loss to learn discriminative features and encourage keypoint feature repeatability for image representation. Finally, our method is computationally efficient as our architecture has shared features and parameters during computation. Our method can perform accurate large-scale localization under challenging conditions while remaining the computational constraint. Extensive experiment results indicate that our method sets a new state-of-the-art on four challenging large-scale localization benchmarks and three image retrieval benchmarks.

研究の動機と目的

• オクルージョン、照明変化、季節的変化などの困難な現実世界の条件下での視覚的ローカライゼーション精度の向上を目的とする。
• 従来のCNNベースの手法における単一レベル特徴抽出の限界を克服し、複数の意味的レベルにわたる特徴を統合することを目的とする。
• 高コストなピxlsレベルのアノテーションを一切使用せず、GPSタグ付き画像ペアのみを用いて頑健な視覚的ローカライゼーションモデルを学習することを目的とする。
• 強力な性能を維持しつつ、計算効率を高め、軽量バックボーンへの展開を可能とすることを目的とする。
• 修正されたトリプレットランク損失を用いた弱教師付き学習により、繰り返し可能で識別力の高い特徴を向上させることを目的とする。

提案手法

• DenserNetは、CNNバックボーン（例：MobileNetやVGG）の低レベル、中レベル、高レベルの層から特徴を抽出・統合するマルチスケール特徴統合モジュールを採用する。
• アーキテクチャは、NetVLAD や CRN などの単一レベル手法と比較して、より密度の高いキーポイント特徴を生成するための並列特徴抽出ブランチを用いる。
• 特徴の共有表現戦略により、順伝播処理中にブランチ間で特徴を再利用することで、計算オーバーヘッドを最小限に抑える。
• 正例ペアの特徴表現が負例ペアよりも近くなるように促進する弱教師付きトリプレットランク損失を用いて、エンドツーエンドでモデルを訓練する。
• 特徴の注目メカニズムを統合し、特徴的な領域（例：目立つ建物の細部）を強調し、混乱要因（例：歩行者、車両）を抑制する。
• 本手法は柔軟性に富み、軽量バックボーンへの適応が可能であり、精度の大幅な低下を伴わず、高速な推論を実現できる。

実験結果

リサーチクエスチョン

• RQ1 異なる意味的レベルからのマルチスケール特徴統合が、困難な環境条件下でも視覚的ローカライゼーション精度を顕著に向上させることができるか？
• RQ2 GPSタグ付き画像ペアのみを用いた弱教師付き学習アプローチが、完全教師付き手法をどれほど上回ることができるか？
• RQ3 提案された特徴統合機構は、キーポイント特徴の密度とマッチングのロバスト性の面で、単一レベル特徴抽出と比べてどのように優れているか？
• RQ4 軽量DenserNetバージョンは、SOTAモデルと比較して顕著に高速な推論速度を維持しながら、高い精度を達成できるか？
• RQ5 提案された弱教師付きトリプレットランク損失は、ピxlsレベルの監視なしに、識別力と繰り返し可能な特徴を効果的に学習できるか？

主な発見

• DenserNetは、ピxlsレベルのアノテーションを一切使用せず、GPSタグ付き画像ペアのみを用いて、4つの大規模な視覚的ローカライゼーションベンチマーク（Pitts30k、Tokyo24/7、Oxford5k、Paris6k）でSOTA性能を達成した。
• Oxford5kデータセット（フル画像）では、DenserNet（VGGベース）がmAP 89.40%を達成し、次に良い手法より3.71%高い性能を示した。
• Paris6kデータセット（クロップ画像）では、DenserNet（MobileNetベース）がmAP 87.82%を達成し、2番目に良い手法より2.93%高い性能を示した。
• MobileNetベースのDenserNetバージョンは、平均して23msで実行可能であり（バックボーン、特徴ブランチ、デコーダーを含む）、VGGバックボーンを用いたCRN や NetVLAD と比較して4倍高速であった。
• 本モデルは、先行手法と比較して顕著に密度の高いキーポイント特徴を生成し、インライアーマッチの増加と、オクルージョンや照明変化に対するロバスト性の向上を実現した。
• 可視化結果から、DenserNetが混乱要因となるシーン要因ではなく、目立つ建築的細部に注目していることが示され、特徴の注目度とローカライゼーションの関連性が向上していることが確認された。