[論文レビュー] D2D: Keypoint Extraction with Describe to Detect Approach

Yurun Tian, Vassileios Balntas+4 more|arXiv (Cornell University)|May 27, 2020

Robotics and Sensor-Based Localization参考文献 55被引用数 5

ひとこと要約

本論文は、追加の訓練を必要とせず、事前学習済みCNN記述子を用いて顕著な位置を特定する新しいキーポイント検出フレームワーク、Describe-to-Detect (D2D) を提案する。絶対的および相対的記述子の顕著性を測定することで、画像マッチング、カメラローカライゼーション、3D再構築を含む複数のベンチマークでマッチング性能が向上し、記述子の正確性が向上し、さまざまな手法やタスクに一般化される。

ABSTRACT

In this paper, we present a novel approach that exploits the information within the descriptor space to propose keypoint locations. Detect then describe, or detect and describe jointly are two typical strategies for extracting local descriptors. In contrast, we propose an approach that inverts this process by first describing and then detecting the keypoint locations. % Describe-to-Detect (D2D) leverages successful descriptor models without the need for any additional training. Our method selects keypoints as salient locations with high information content which is defined by the descriptors rather than some independent operators. We perform experiments on multiple benchmarks including image matching, camera localisation, and 3D reconstruction. The results indicate that our method improves the matching performance of various descriptors and that it generalises across methods and tasks.

研究の動機と目的

• コンピュータビジョンパイプラインにおける従来の検出子-記述子ペアの最適でない適合性を解決すること。
• 特定の記述子に最適化されていない、ハンドクラフトおよび学習されたキーポイント検出子の限界を克服すること。
• あらゆる事前学習済みCNN記述子に適応可能な汎用的で訓練不要の手法を提供し、キーポイント検出を改善すること。
• 独立した演算子ではなく、記述子の情報量に基づいてキーポイントを検出することで、マッチング、ローカライゼーション、3D再構築の性能を向上させること。

提案手法

• 検出-記述の標準的パイプラインとは逆に、まず記述子を用いてキーポイントを検出するDescribe-to-Detect (D2D) フレームワークを提案する。
• キーポイントの位置を記述子の顕著性に基づいて定義する：絶対的顕著性（チャネル全体の情報量）と相対的顕著性（空間的近傍物との相違性）を用いる。
• 局所的なパッチ内の記述子ベクトルのシャノンエントロピーとして絶対的顕著性を計算し、局所的な情報量を測定する。
• 半径 $ r_{\text{RS}} $ の窓内におけるパッチとその近傍との平均コサイン類似度として相対的顕著性を計算し、識別性を測定する。
• 非最大抑制としきい値処理を適用して、顕著性スコアに基づいて最終的なキーポイントを選択する。
• 再訓練なしに、スコアマップまたはしきい値を変更することで、既存の記述子（例：SuperPoint, D2-Net, HardNet, SOSNet）とD2Dを統合する。

実験結果

リサーチクエスチョン

• RQ1 訓練済み検出器を別途学習せずに、記述子の顕著性を効果的にキーポイント検出に活用できるか？
• RQ2 絶対的顕著性と相対的顕著性の2つの指標は、どのようにして情報量が多く特徴が際立つキーポイント位置を特定するのに補完的であるか？
• RQ3 再訓練なしに、D2Dが多様な記述子とデータセットでマッチング性能をどの程度向上できるか？
• RQ4 D2Dはカメラローカライゼーションや3D再構築といった下流タスクの性能を向上させるか？
• RQ5 他の検出器と比較して、D2Dで検出されたキーポイントは再現性と補完性の観点でどのように異なるか？

主な発見

• D2Dは、HardNet, SOSNet, SuperPoint, D2-Net などのさまざまな記述子のマッチング性能を、複数のベンチマークで向上させる。
• Hpatchesデータセットでは、SuperPoint+D2DがベースラインのSuperPointと比較して、相互マッチング精度（MMA）と相互最近傍マッチの比率が向上した。
• Aachen Day-Nightデータセットでは、SuperPoint+D2Dが5m、10°のしきい値で78.6%の精度を達成し、元のSuperPoint（75.5%）を上回った。
• D2-Net+D2Dは、同じローカライゼーション精度（88.8%）を維持しながら、検出数を30%削減（8.3K vs. 12K）したため、D2Dが低品質なキーポイントをフィルタリングしていることが示された。
• 絶対的顕著性と相対的顕著性の組み合わせが最良の性能を示し、HardNetとSOSNetでは、相対的顕著性の窓サイズ $ r_{\text{RS}} = 5 $ が最適であった。
• キーポイントの再現性分析から、異なる検出器間での再現性は低かった（例：SuperPoint対HardNetでは0.745）、D2Dが異なる記述子に対して補完的な特徴を検出していることが示された。