[論文レビュー] Dual-Resolution Correspondence Networks

Xinghui Li, Kai Han+2 more|arXiv (Cornell University)|Jun 16, 2020

Advanced Neural Network Applications参考文献 51被引用数 76

ひとこと要約

DualRC-Net は、デュアル解像度の特徴マップを用いた粗から細への手法で密な画素単位対応を確立し、HPatches、InLoc、Aachen Day-Night で最先端の結果を達成するとともに、メモリと計算を削減します。

ABSTRACT

We tackle the problem of establishing dense pixel-wise correspondences between a pair of images. In this work, we introduce Dual-Resolution Correspondence Networks (DualRC-Net), to obtain pixel-wise correspondences in a coarse-to-fine manner. DualRC-Net extracts both coarse- and fine- resolution feature maps. The coarse maps are used to produce a full but coarse 4D correlation tensor, which is then refined by a learnable neighbourhood consensus module. The fine-resolution feature maps are used to obtain the final dense correspondences guided by the refined coarse 4D correlation tensor. The selected coarse-resolution matching scores allow the fine-resolution features to focus only on a limited number of possible matches with high confidence. In this way, DualRC-Net dramatically increases matching reliability and localisation accuracy, while avoiding to apply the expensive 4D convolution kernels on fine-resolution feature maps. We comprehensively evaluate our method on large-scale public benchmarks including HPatches, InLoc, and Aachen Day-Night. It achieves the state-of-the-art results on all of them.

研究の動機と目的

• 大きな視点変化と照明変化に跨る堅牢な密なマッチングを動機づける。
• 全解像度の4Dテンソルを回避するスケーラブルなアーキテクチャを開発する
• 粗から細への誘導を活用して細分解のマッチングを焦点化する
• 高額なメモリコストをかけずに局在化精度を向上させる
• 複数の公開ベンチマーク（HPatches、InLoc、Aachen Day-Night）で最先端の性能を示す

提案手法

• FPN様のバックボーンを用いて粗特徴と細特徴を得るデュアル解像度特徴マップを抽出する。
• 粗特徴から完全な4D相関テンソルを形成し、近傍整合性モジュールでそれを精緻化する。
• 精緻化された粗相関テンソルを用いて高信頼性の局所領域を選択し、細解像度のマッチングを導く。
• 細解像度のスコアとマスク付きにアップサンプリングした粗スコアを組み合わせて密なマッチングを計算する。
• Frobeniusノルム損失と直交正則化子の組み合わせを用いたスパースなキーポイント注釈でエンドツーエンド訓練する。
• 完全な細解像度空間ではなく高相干渉粗マッチの周辺領域のみを照会することで密なマッチングを高速化する。

実験結果

リサーチクエスチョン

• RQ1 デュアル解像度特徴は高解像度の画像で信頼できる密な対応を可能にするか？
• RQ2 粗から細への誘導は局在化精度を損なうことなくメモリと計算量を削減できるか？
• RQ3 遮蔽、照明、視点変化を伴う難易度の高いベンチマークでDualRC-Netはどう機能するか？
• RQ4 室内外のリロカライゼーションタスク全般で最先端の結果を達成するか？

主な発見

• HPatches、InLoc、Aachen Day-Nightベンチマークで最先端の結果を達成する。
• 粗解像度の4D相関を近傍整合性で精緻化し、それを用いて細解像度のマッチングを誘導することで信頼性と局在化を向上させる。
• 粗マッチによりフラグ付けされた領域に細解像度のマッチングを制限することでメモリ使用量と計算量を削減する。
• HPatchesで特に強い照明変化と視点変化下でNCNetおよびSparse-NCNetを上回る。
• 室内外を含む多様なデータセットで強い汎化性能を示す。