[論文レビュー] R2D2: Repeatable and Reliable Detector and Descriptor

Jérôme Revaud, Philippe Weinzaepfel+5 more|arXiv (Cornell University)|Jun 14, 2019

Robotics and Sensor-Based Localization参考文献 67被引用数 356

ひとこと要約

R2D2 は、信頼性予測器とともにスパースなキーポイント検出器と局所記述子を共同で学習し、再現性と識別的なマッチングの両立を最適化し、HPatches と Aachen Day-Night で最先端の結果を達成する。

ABSTRACT

Interest point detection and local feature description are fundamental steps in many computer vision applications. Classical methods for these tasks are based on a detect-then-describe paradigm where separate handcrafted methods are used to first identify repeatable keypoints and then represent them with a local descriptor. Neural networks trained with metric learning losses have recently caught up with these techniques, focusing on learning repeatable saliency maps for keypoint detection and learning descriptors at the detected keypoint locations. In this work, we argue that salient regions are not necessarily discriminative, and therefore can harm the performance of the description. Furthermore, we claim that descriptors should be learned only in regions for which matching can be performed with high confidence. We thus propose to jointly learn keypoint detection and description together with a predictor of the local descriptor discriminativeness. This allows us to avoid ambiguous areas and leads to reliable keypoint detections and descriptions. Our detection-and-description approach, trained with self-supervision, can simultaneously output sparse, repeatable and reliable keypoints that outperforms state-of-the-art detectors and descriptors on the HPatches dataset. It also establishes a record on the recently released Aachen Day-Night localization dataset.

研究の動機と目的

• 学習された記述子のためのキーポイント検出において、再現性だけを用いることの限界を動機づける。
• 局所検出器と記述子を同時に扱うジョイントフレームワークを提案し、記述子の識別性（信頼性）も予測する。
• 再現性と疎性を促進する自己教師なし損失を開発し、記述子マッチングを最適化するためのリストワイズAPベースの損失を提案する。
• HPatches および視覚ローカライゼーションのベンチマーク（Aachen Day-Night）で方法の有効性を示す。

提案手法

• 完全畳み込みネットワークを用いて、ピクセルごとの記述子 X、再現性ヒートマップ S、記述子信頼性マップ R を出力する。
• 画像変換の下で共変局所極大値と局所ピーク性を促す自己教師付き再現性損失で S を学習する。
• 微分可能なAP損失を用いて記述子を学習し、信頼性加重目的を組み込み、非常に識別性の高いパッチのみが寄与するようにする。
• ピクセルごとの信頼性スコア R を提案し、記述子学習をゲートして、疎で信頼できるマッチを可能にする。
• テスト時には S の局所最大値でキーポイントを抽出し、スケール横断で S·R の積でランク付けして最終的な特徴候補を形成する。
• 密なパッチ比較とスケーラブルなマッチングを可能にする、効率的な完全畳み込み実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 キーポイントの再現性と記述子の識別性を、単一のフレームワークでいかに共同学習できるか？
• RQ2 記述子の信頼性予測器は、あいまいな領域を避けることでマッチングを改善できるか？
• RQ3 自己教師付き再現性損失は、高い再現性を持つ疎で均一に分布したキーポイントを生み出すか？
• RQ4 R2D2 アプローチは標準ベンチマーク（HPatches）および実世界のローカライゼーションベンチマーク（Aachen Day-Night）でどのように機能しますか？

主な発見

• 本手法は HPatches で最先端の結果を達成し、複数の指標で既存の検出器および記述子を上回る。
• 再現性と記述子信頼性を共同で学習することは、いずれかの要素を欠く前提より性能を大幅に改善する。
• 信頼性予測器は、顕著だがマッチングが難しい領域を抑制するのに役立ち、マッチング精度とローカリゼーションの結果を改善する。
• Aachen Day-Night では、適切な設定の R2D2 は視覚ローカライゼーションタスクで競合手法に匹敵するかそれを上回る。
• アブレーション研究は、再現性と信頼性を分離する方が、検出器のみまたは記述子損失のみを使用するより性能が良いことを示している。