[論文レビュー] Neighbourhood Consensus Networks

Ignacio Rocco, Mircea Cimpoi+4 more|arXiv (Cornell University)|Oct 24, 2018

Transportation and Mobility Innovations被引用数 153

ひとこと要約

NC-Netは、グローバルな幾何モデルを用いずに、画像対応の全密な集合に対して学習可能な近傍合意機構を提案し、弱教師ありで訓練されたカテゴリレベルおよびインスタンスレベルのマッチング（PF-PascalとInLoc）で最先端の成果を達成します。

ABSTRACT

We address the problem of finding reliable dense correspondences between a pair of images. This is a challenging task due to strong appearance differences between the corresponding scene elements and ambiguities generated by repetitive patterns. The contributions of this work are threefold. First, inspired by the classic idea of disambiguating feature matches using semi-local constraints, we develop an end-to-end trainable convolutional neural network architecture that identifies sets of spatially consistent matches by analyzing neighbourhood consensus patterns in the 4D space of all possible correspondences between a pair of images without the need for a global geometric model. Second, we demonstrate that the model can be trained effectively from weak supervision in the form of matching and non-matching image pairs without the need for costly manual annotation of point to point correspondences. Third, we show the proposed neighbourhood consensus network can be applied to a range of matching tasks including both category- and instance-level matching, obtaining the state-of-the-art results on the PF Pascal dataset and the InLoc indoor visual localization benchmark.

研究の動機と目的

• 局所的な近傍合意パターンを活用して、難易度の高い密な画像マッチを分解可能にする。
• 密なマッチングにおける明示的なグローバル幾何モデルの必要性を排除する。
• 画像ペアのラベルのみを用いた弱教師付けによる効果的な訓練を示す。
• カテゴリレベルとインスタンスレベルの両方のマッチングタスクへの適用性を示す。
• 姿勢推定や意味的整合などの下流タスクと連携する、拡張性の高い密マッチングフレームワークを提供する。

提案手法

• CNNバックボーンを用いて両画像の密な特徴量ディスクリプタを計算する。
• 2つの画像間の全組の特徴類似度から4-D相関マップ c を構築する。
• 4-Dマッチ空間における局所的な幾何パターンを学習するために4-D近傍合意CNN N(·) を適用する。
• ソフトな相互最近傍フィルタ M(·) を適用して、ソフトなグローバル相互性制約を強制する。
• s^A および s^B に基づくソフトマックス方向スコアを用いて対応を抽出し、点対点のマッチを得る。
• 割り当てられたマッチスコアの平均を用いて正の画像ペアと負のペアを区別する弱監視損失でエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 4-D畳み込みネットワークは、グローバルな幾何モデルなしに、信頼性の高い密なマッチングの近傍合意パターンを学習できるのか？
• RQ2 密な点ごとの注釈ではなく、画像ペアレベルの弱い監督だけでこのようなネットワークを訓練することは可能か？
• RQ3 密で近傍合意ベースのマッチが、カテゴリレベルとインスタンスレベルの両方のマッチングタスクの性能を向上させるのか？
• RQ4 学習された密な対応は、室内ローカライズや意味的キーポイント転送などの下流タスクを改善できるのか？

主な発見

• NC-Net アーキテクチャは、全密なマッチ集合における局所的な近傍パターンを学習し、グローバルモデルなしで信頼性の高い密な対応を生成します。
• このモデルは、画像ペアラベルを用いた弱監督でゼロから訓練可能であり、コストの高い点ごとの注釈を回避します。
• NC-Net はカテゴリレベルの PF-Pascal で最先端の結果を達成し、InLoc ベンチマークでインスタンスレベルの室内ローカライズを改善します。
• InLoc パイプラインへ NC-Net を組み込むと、スパースキーポイントマッチングや従来のCNNベースのマッチング手法を含むベースラインよりローカライズ性能が向上します。
• ソフトな相互最近傍フィルタは、トレーニングと推論時にグローバルな相互性制約を微分可能な方法で課す。
• このアプローチは、堅牢な密な対応を提供することで、密な姿勢推定のようなタスクと意味的キーポイント転送の両方をサポートします。