[論文レビュー] Efficient Neighbourhood Consensus Networks via Submanifold Sparse Convolutions

Ignacio Rocco, Relja Arandjelović+1 more|arXiv (Cornell University)|Apr 22, 2020

Generative Adversarial Networks and Image Synthesis参考文献 62被引用数 5

ひとこと要約

この論文では、画像の対応関係推定のためのメモリおよび計算効率に優れたNeighbourhood Consensus Networks（NCNet）の変種、Sparse-NCNetを提案する。相関テンソルをスパース化し、サブマニフォールドスパース4次元畳み込みを適用することで、メモリ使用量と推論時間を10倍以上削減しながら、HPatches、InLoc、Aachen Day-Nightベンチマークで最先端の性能を維持し、2段階の再局在化モジュールにより局在化精度を向上させた。

ABSTRACT

In this work we target the problem of estimating accurately localised correspondences between a pair of images. We adopt the recent Neighbourhood Consensus Networks that have demonstrated promising performance for difficult correspondence problems and propose modifications to overcome their main limitations: large memory consumption, large inference time and poorly localised correspondences. Our proposed modifications can reduce the memory footprint and execution time more than $10 imes$, with equivalent results. This is achieved by sparsifying the correlation tensor containing tentative matches, and its subsequent processing with a 4D CNN using submanifold sparse convolutions. Localisation accuracy is significantly improved by processing the input images in higher resolution, which is possible due to the reduced memory footprint, and by a novel two-stage correspondence relocalisation module. The proposed Sparse-NCNet method obtains state-of-the-art results on the HPatches Sequences and InLoc visual localisation benchmarks, and competitive results in the Aachen Day-Night benchmark.

研究の動機と目的

• Neighbourhood Consensus Networks（NCNet）の高いメモリ消費量と遅い推論速度が実用的導入を制限する問題に対処すること。
• 新規の再局在化モジュールを用いて、空間的精度を向上させることで、NCNetにおける対応関係の局在化精度を向上させること。
• スパarsityのおかげで大幅にメモリフットプリントを削減することで、NCNetにおける高解像度入力処理を可能にし、特徴の局在化精度を向上させること。
• 極端な照明変化や視点変化にさらされるような困難なベンチマーク、HPatches Sequences、InLoc、Aachen Day-Nightで最先端の性能を達成すること。
• 3次元再構築やビジュアル局在化のような実世界の応用に適した、エンドツーエンドで微分可能な、特徴抽出、マッチング、フィルタリングの統合的最適化を可能にすること。

提案手法

• NCNetにおける密な相関テンソルを、最も有望な一時的マッチングのみを格納するスパース表現に置き換えることで、メモリと計算量を削減する。
• サブマニフォールドスパース畳み込みを用いた4次元畳み込みニューラルネットワークを適用し、スパースな相関テンソルを効率的に処理することで、空間的構造を保持しつつ計算量を最小限に抑える。
• 2段階の対応関係再局在化モジュールを導入：まず粗くから細かくへの戦略でマッチングを精緻化し、次に異なる微分可能な回帰ヘッドを用いてその空間的位置をさらに精緻化する。
• スパース性のおかげでメモリフットプリントが大幅に削減されるため、高解像度の入力画像を処理可能となり、計算コストを増加させることなく、より細かい局在化が可能になる。
• パイプライン全体がエンドツーエンド微分可能であり、特徴抽出、マッチング、フィルタリングの共同最適化が可能になる。
• モデルは標準的な対照的損失と、真値対応関係に対する教師あり学習で訓練され、推論は最終的なスパース出力上でグリーディマッチングによって実行される。

実験結果

リサーチクエスチョン

• RQ1 NCNetのメモリおよび計算コストを、マッチング精度を損なわずに削減できるか？
• RQ2 サブマニフォールドスパース畳み込みは、スパースな4次元相関テンソルを効果的に処理し、推論速度を向上させ、メモリ使用量を削減できるか？
• RQ3 スパarsityによって可能になった高解像度入力処理は、対応関係の局在化精度を向上させるか？
• RQ4 2段階の再局在化モジュールは、予測マッチングの空間的精度を顕著に向上させられるか？
• RQ5 提案されたSparse-NCNetは、極端な照明変化や視点変化にさらされるベンチマークで最先端の性能を達成できるか？

主な発見

• Sparse-NCNetは、元のNCNetと比較して、メモリ消費量を最大20倍、推論時間を10倍以上削減しながら、同等のマッチング性能を維持した。
• HPatches Sequencesベンチマークでは、最先端の性能を達成し、視点や照明条件が厳しい状況でも、先行手法を上回った。
• InLocベンチマークでは、200×150解像度での2段階再局在化を用いたSparse-NCNetが、NCNetおよび先行手法を上回る新しいSOTA結果を達成した。
• Aachen Day-Nightベンチマークでは、68.4％のクエリが1mおよび5°以内に局在化され、1m/5°の閾値で最先端の性能を達成した。
• Aachen Day-Nightの夜間クエリ98個のうち67個が正しく局在化され、パrameter数が少なく、メモリ使用量も低いにもかかわらず、R2D2やD2-Netと同等またはそれ以上の性能を示した。
• 定性的な結果から、本手法は空間的に一貫性のあるマッチンググループを生成しており、高信頼度のマッチングが明確なクラスタを形成していることが示され、より高いロバスト性と局在化精度を示している。