[論文レビュー] R2D2: Reliable and Repeatable Detectors and Descriptors for Joint Sparse Keypoint Detection and Local Feature Extraction

Jérôme Revaud, Philippe Weinzaepfel+5 more|arXiv (Cornell University)|Jun 14, 2019

Robotics and Sensor-Based Localization被引用数 7

ひとこと要約

R2D2は、自己教師あり学習を用いて、信頼性高く繰り返し可能なキーポイント検出と局所的特徴記述子の共同学習フレームワークを提案する。訓練中に記述子の識別性を予測することで、曇った領域を回避し、HPatchesでは最先端の性能を達成し、Aachen Day-Nightデータセットでは新たな記録を樹立した。

ABSTRACT

Interest point detection and local feature description are fundamental steps in many computer vision applications. Classical methods for these tasks are based on a detect-then-describe paradigm where separate handcrafted methods are used to first identify repeatable keypoints and then represent them with a local descriptor. Neural networks trained with metric learning losses have recently caught up with these techniques, focusing on learning repeatable saliency maps for keypoint detection and learning descriptors at the detected keypoint locations. In this work, we argue that salient regions are not necessarily discriminative, and therefore can harm the performance of the description. Furthermore, we claim that descriptors should be learned only in regions for which matching can be performed with high confidence. We thus propose to jointly learn keypoint detection and description together with a predictor of the local descriptor discriminativeness. This allows us to avoid ambiguous areas and leads to reliable keypoint detections and descriptions. Our detection-and-description approach, trained with self-supervision, can simultaneously output sparse, repeatable and reliable keypoints that outperforms state-of-the-art detectors and descriptors on the HPatches dataset. It also establishes a record on the recently released Aachen Day-Night localization dataset.

研究の動機と目的

• 古典的な検出→記述パイプラインがキーポイント検出と記述を別々の手作業によるプロセスとして扱うという限界を解決すること。
• 顕著な領域が識別的でない場合に記述子の品質が低下する問題を克服すること。
• マッチングを高い信頼性で行える領域でのみ記述子を学習することで、信頼性を向上させること。
• キーポイント検出、記述、識別性予測を共同で最適化する自己教師あり手法を開発すること。
• ベンチマークデータセット上で、スパarsity（スパarsity）、再現性、信頼性に優れたキーポイントを達成し、既存手法を上回ること。

提案手法

• モデルは、各候補領域に対してキーポイント位置、局所的特徴記述子、および識別性スコアを同時に予測する。
• 幾何的一致性を画像ペア間で活用する自己教師あり学習目的関数を用い、学習をガイドする。
• 識別性予測器は信頼性フィルタとして機能し、曇った領域や低コントラスト領域の特徴を抑制する。
• エンドツーエンド最適化により、スパarsity（スパarsity）、再現性のあるキーポイントと高品質な記述子を生成するネットワークアーキテクチャを設計する。
• 検出、記述、識別性予測の目的関数を統合したマルチタスク損失を最小化することで訓練を行う。
• すべてのコンponentsをエンドツーエンドで共同学習することで、手作業による特徴に依存しない。

実験結果

リサーチクエスチョン

• RQ1 検出と記述の共同学習は、分離されたパイプラインと比較して、信頼性と再現性を向上させることができるか？
• RQ2 訓練中に記述子の識別性を予測することで、特徴の品質とマッチング性能が向上するか？
• RQ3 アノテート済みキーポイントデータに依存せずに、自己教師ありアプローチが最先端の結果を達成できるか？
• RQ4 顕著な視点変化や照明変化を伴う困難なベンチマークで、この手法はどの程度の性能を示すか？
• RQ5 識別性が低い領域をフィルタリングすることで、全体のマッチング精度はどの程度向上するか？

主な発見

• R2D2はHPatchesデータセットで最先端の性能を達成し、検出と記述の両タスクで従来手法を上回った。
• Aachen Day-Nightローゼーションベンチマークでは新たな記録を樹立し、厳しい条件下でも優れた一般化性能を示した。
• 記述子の識別性を予測することで、R2D2は曇った領域を効果的に回避し、より信頼性の高いキーポイント検出を実現した。
• 検出、記述、識別性の共同最適化により、再現性とマッチング精度が向上した。
• 自己教師あり学習により、アノテート済みキーポイントデータを必要とせずに高品質な特徴を学習可能となった。
• 本手法は、多様な視覚的条件下でも効果的なスパarsity（スパarsity）、再現性、信頼性に優れたキーポイントを生成した。