[論文レビュー] D2-Net: A Trainable CNN for Joint Detection and Description of Local Features

Mihai Dusmanu, Ignacio Rocco+5 more|arXiv (Cornell University)|May 9, 2019

Advanced Neural Network Applications参考文献 63被引用数 36

ひとこと要約

D2-Net は、局所特徴を検出・記述する1つの CNN を導入し、密な特徴マップを共有することで頑健なピクセル対応を得て、難しい条件下での局在化・3D 再構成ベンチマークで高い性能を示す。

ABSTRACT

In this work we address the problem of finding reliable pixel-level correspondences under difficult imaging conditions. We propose an approach where a single convolutional neural network plays a dual role: It is simultaneously a dense feature descriptor and a feature detector. By postponing the detection to a later stage, the obtained keypoints are more stable than their traditional counterparts based on early detection of low-level structures. We show that this model can be trained using pixel correspondences extracted from readily available large-scale SfM reconstructions, without any further annotations. The proposed method obtains state-of-the-art performance on both the difficult Aachen Day-Night localization dataset and the InLoc indoor localization benchmark, as well as competitive performance on other benchmarks for image matching and 3D reconstruction.

研究の動機と目的

• 照明変化、弱いテクスチャなど、困難な撮像条件下で頑健なピクセルレベルの対応付けを動機づける。
• キーポイントを同時に検出しパッチを記述する1つのCNNを開発し、安定性のために高次レベルの特徴を利用する。
• 追加アノテーションなしで学習するために、大規模 SfM データセットからのピクセル単位の対応を活用する。
• 難易度の高い局所化（Aachen Day-Night）および室内局所化（InLoc）で最先端性能を示す。
• マッチングおよび3D再構成ベンチマークで競争力のある結果を示す。

提案手法

• CNNを用いてF(I)として密な特徴マップ F を計算する。これは記述子と検出器の双方の役割を果たす。
• 記述子を各ピクセルでFを通るスライスとして扱う: d_ij = F_ij:.（マッチング前にL2正規化）.
• 検出器の出力をチャネルごとの応答マップ D^k = F::k として扱い、あるチャネルが局所最大を持ち、チャネル間で最大値の位置を検出する場所でキーポイントを検出する。
• soft local-max スコア alpha^k_ij および最大値に対する比 beta^k_ij を用いたソフト検出を用い、検出スコア gamma_ij を算出し s_ij に正規化する（Eq. 4–7）。
• 画像ピラミッドを構築してマルチスケール検出を統合し、粗いスケール情報を取り入れる（Eq. 8）と、再検出を避けるためのマスキング方式を使用する。
• 記述子の識別性（p(c), n(c)）と検出の再現性（Eq. 9–13）を同時に最適化する拡張トリプレットマージンランキング損失で訓練する。
• 訓練中は MegaDepth由来のピクセル対応を使用し、テスト時には pool3/conv4 層を修正し拡張畳み込みで解像度を上げ、より細かなキーポイントの局在を得る。

実験結果

リサーチクエスチョン

• RQ1 単一の CNN が、強い外観変化の下でピクセル単位のマッチングに適した頑健な局所記述子と再現性のあるキーポイント検出の両方を生成できるだろうか？
• RQ2 説明し検出する（D2）アプローチは、照明とテクスチャが困難な状況で従来の検出後記述法より優れているか？
• RQ3 検出と記述の共同最適化は、画像マッチング、3D再構成、および局所化ベンチマークの性能にどのような影響を与えるか？

主な発見

• Aachen Day-Night ローカリゼーションで最先端の性能を達成し、InLoc 室内ローカリゼーションでも競争力のある結果を示す。
• 照明が困難で弱いテクスチャ条件下で、従来の detect-then-describe ベースラインを上回り、頑健なマッチングと局所化を実現。
• 密な特徴マップを用いて安定したキーポイントと記述子を可能にし、完全に密な方法と比べメモリ使用量を削減。
• 3D再構成ベンチマークで競争力のある性能を示し、SIFTや他の学習済み記述子と同等程度。
• 密な記述子と比較して、メモリ使用量を抑えつつ頑健な対応付けを生み出す、Joint describe-and-detect の可能性を示す。