[論文レビュー] UR2KiD: Unifying Retrieval, Keypoint Detection, and Keypoint Description without Local Correspondence Supervision

Tsun-Yi Yang, Duy-Kien Nguyen+2 more|arXiv (Cornell University)|Jan 20, 2020

Advanced Image and Video Retrieval Techniques参考文献 37被引用数 27

ひとこと要約

UR2KiD は、ピクセル単位の対応関係の教師付き学習を必要とせず、画像検索、キーポイント検出、キーポイント記述子の3つを統合的に実行する深層学習フレームワークを提案する。ResNetベースのバックボーンから得られるマルチスケール特徴量に自己蒸留とローカル応答プーリングを活用することで、スケール変化、視点変化、昼夜の変化といった困難な条件下でも最先端の性能を達成し、極端なスケール差があるローカライゼーションベンチマークにおいて、先行手法を上回る性能を発揮する。

ABSTRACT

In this paper, we explore how three related tasks, namely keypoint detection, description, and image retrieval can be jointly tackled using a single unified framework, which is trained without the need of training data with point to point correspondences. By leveraging diverse information from sequential layers of a standard ResNet-based architecture, we are able to extract keypoints and descriptors that encode local information using generic techniques such as local activation norms, channel grouping and dropping, and self-distillation. Subsequently, global information for image retrieval is encoded in an end-to-end pipeline, based on pooling of the aforementioned local responses. In contrast to previous methods in local matching, our method does not depend on pointwise/pixelwise correspondences, and requires no such supervision at all i.e. no depth-maps from an SfM model nor manually created synthetic affine transformations. We illustrate that this simple and direct paradigm, is able to achieve very competitive results against the state-of-the-art methods in various challenging benchmark conditions such as viewpoint changes, scale changes, and day-night shifting localization.

研究の動機と目的

• 画像検索、キーポイント検出、キーポイント記述子の3つを1つのエンドツーエンドのフレームワークに統合すること。
• SfM やアフィン変換などのピクセル単位の対応関係に基づく高価なまたは合成された教師付き学習の必要性を排除すること。
• ローカライゼーションタスクにおけるスケール変化、視点変化、昼夜の照度変化への耐性を高めること。
• グローバル表現学習とローカル表現学習を最小限の教師付き信号で同時に最適化できることを示すこと。

提案手法

• 複数の層からの特徴マップを抽出する、事前学習済みのResNet101バックボーンを用いて階層的な局所的およびグローバル表現を抽出する。
• 局所的アクティベーション正規化、チャネルグループ化、ドロップアウトを適用し、対応関係の教師付き信号なしで局所的記述子の品質を向上させる。
• 教師ネットワークと生徒ネットワーク間での自己蒸留を用いて、キーポイント検出と記述子学習を向上させる。
• 局所的応答に対してグローバル平均プーリングを適用し、画像検索用のグローバル記述子を生成する。
• ピクセルレベルの対応関係アノテーションを一切使用せず、画像ペアのみを教師信号として、ネットワーク全体をエンドツーエンドで学習する。
• 訓練中にネットワークの初期ブロックを固定し、記述子次元削減用のマッピング層のみを微調整することで、安定性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位の対応関係の教師付き学習に依存せずに、画像検索、キーポイント検出、キーポイント記述子の3つを統合的に最適化できる深層ネットワークは構築可能か？
• RQ2 クエリ画像とデータベース画像の間で極端なスケール差が生じた場合、本手法は最先端手法と比較してどのように性能を発揮するか？
• RQ3 マルチスケール特徴量と自己蒸留を活用することで、ローカライゼーションタスクにおける視点変化や照度変化への耐性が向上するか？
• RQ4 弱教師付き信号（画像ペアのみ）で学習した1つのネットワークが、グローバル検索とローカルマッチングの両ベンチマークで競争力のある性能を達成できるか？

主な発見

• UR2KiD は、Aachenベンチマークにおいてローカライゼーションタスクで最先端の性能を達成し、特に深刻なスケール変化（例：クエリ対データベース比 0.5:1）の条件下で、D2-Net よりも5〜7%高い精度を達成する。
• 本手法は昼夜の変化や視点変化に対しても強力な性能を維持し、現実世界の視覚的変化への耐性を示している。
• 初期のネットワークブロックを固定し、マッピング層のみを微調整することで最良の結果が得られ、効果的な記述子学習には最小限の適応で十分であることが示された。
• MegaDepthで事前学習した場合、Oxford5k や Paris6k におけるグローバル検索性能も競争力を持つが、SfM120k を用いた場合、GeM や DAME のような検索専用手法には及ばない。
• アブレーションスタディの結果、生徒検出器と生徒記述子、重みの固定を組み合わせた設定が、特にスケール変動が激しい状況下で最も優れた一般化性能を示した。
• 本フレームワークは、画像レベルの教師信号のみで局所的およびグローバル表現学習を統合的に実現でき、SfM や合成データに伴う高コストな処理の必要性を排除した。