[論文レビュー] D2-Net: A Trainable CNN for Joint Detection and Description of Local Features

Mihai Dusmanu, Ignacio Rocco+5 more|arXiv (Cornell University)|May 9, 2019

Advanced Image and Video Retrieval Techniques被引用数 74

ひとこと要約

D2-Net は、密な特徴マップを用いてキー ポイントの検出と局所特徴の記述を同時に行う単一の学習可能CNNを提示し、難易度の高い局在ベンチマークで最先端の性能を達成し、マッチングおよび3Dタスクで競争力のある結果を示します。

ABSTRACT

In this work we address the problem of finding reliable pixel-level correspondences under difficult imaging conditions. We propose an approach where a single convolutional neural network plays a dual role: It is simultaneously a dense feature descriptor and a feature detector. By postponing the detection to a later stage, the obtained keypoints are more stable than their traditional counterparts based on early detection of low-level structures. We show that this model can be trained using pixel correspondences extracted from readily available large-scale SfM reconstructions, without any further annotations. The proposed method obtains state-of-the-art performance on both the difficult Aachen Day-Night localization dataset and the InLoc indoor localization benchmark, as well as competitive performance on other benchmarks for image matching and 3D reconstruction.

研究の動機と目的

• 困難な撮像条件（照明変化、弱いテクスチャ、モーションブラー）下で堅牢なピクセルレベルの対応を動機づける。
• 密な記述子とキー点検出を同時に提供する単一のCNNを提案し、リピート性とマッチング効率を改善する。
• 大規模SfM再構成からのピクセル対応を活用し、追加の注釈なしで訓練する。
• Aachen Day-Night と InLoc で最先端の局在性能を示し、画像マッチングと3D再構成の結果は競争力がある。

提案手法

• 特徴マップをCNNで密に計算し、それ自体が記述子と検出器として機能する（describe-and-detect）。
• 記述子は各ピクセルでのnチャネル特徴ベクトルで、マッチングのためにL2正規化される。
• 検出はソフトで微分可能なチャネル選択とソフトローカル最大スコアを備えた特徴マップチャネル全体の局所極大。
• マルチスケール検出は画像ピラミッドとスケールフュージョン、スケール間の再検出を避ける応答ゲーティングによって実現。
• トレーニングは extended triplet margin ranking loss を用い、記述子の識別性とキー点のリピート性を同時に最適化し、ソフト検出スコアでウェイト付け。
• テスト時は最後のプーリングを置換する、拡張畳み込みを適用、キー点位置を洗練させるなどのアーキテクチャ調整でメモリ/計算量を削減。）

実験結果

リサーチクエスチョン

• RQ1 照明条件や視点変化が厳しい中で、検出器と記述子の双方を務める単一CNNは堅牢で再現性の高いキー点を生み出せるか？
• RQ2 検出を記述子の特徴マップへ遅らせることは、従来の検出-記述パイプラインと比べてマッチング精度と局在性能にどのような影響を与えるか？
• RQ3 denseで学習可能な記述子と共同検出は、標準ベンチマーク（Aachen Day-Night、InLoc、HPatches）で競争力または優位性を示しつつ、SfM/局在パイプラインに現実的であり得るか？

主な発見

方法	特徴量数	マッチ数
Hes. det. + RootSIFT	6.7 K	2.8 K
HAN + HN++ [36,35]	3.9 K	2.0 K
LF-Net [39]	0.5 K	0.2 K
SuperPoint [13]	1.7 K	0.9 K
DELF [38]	4.6 K	1.9 K
D2 SS (ours)	3.0 K	1.2 K
D2 MS (ours)	4.9 K	1.7 K
D2 SS Trained (ours)	6.0 K	2.5 K
D2 MS Trained (ours)	8.3 K	2.8 K

• HPatchesベースの評価で、6.5ピクセル以上の閾値で画像マッチングの総合性能が最高となり、いくつかの検出-記述ベースラインを上回った。
• 難易度の高い局在タスクで、D2-NetはAachen Day-Nightで最先端の結果を達成し、InLocでも高い性能を示し、密な手法より少ない特徴量やメモリでポーズ精度を達成することが多い。
• 表1の結果は方法間で競争力のある特徴量数とマッチ数を示し、D2 MSおよび派生版は高いマッチ品質を達成している（D2 SS TrainedおよびD2 MS Trained派生版）。
• describe-and-detectアプローチは日夜や弱いテクスチャ環境で堅牢な対応を生み出し、伝統的な検出器と比較して単一点位置の精度がやや劣る場合があるにもかかわらず、合理的な局在とSfMパフォーマンスを維持する。