[論文レビュー] Universal Correspondence Network

Christopher Choy, JunYoung Gwak+2 more|arXiv (Cornell University)|Jun 11, 2016

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 257

ひとこと要約

この論文は、一般的な視覚対応のための深層メトリック学習フレームワーク（UCN）を提示し、幾何学的および意味的マッチングを完全畳み込みアーキテクチャで可能にし、新規のCorrespondence Contrastive Lossとパッチ正規化のための畳み込み空間変換器を提案します。

ABSTRACT

We present a deep learning framework for accurate visual correspondences and demonstrate its effectiveness for both geometric and semantic matching, spanning across rigid motions to intra-class shape or appearance variations. In contrast to previous CNN-based approaches that optimize a surrogate patch similarity objective, we use deep metric learning to directly learn a feature space that preserves either geometric or semantic similarity. Our fully convolutional architecture, along with a novel correspondence contrastive loss allows faster training by effective reuse of computations, accurate gradient computation through the use of thousands of examples per image pair and faster testing with $O(n)$ feed forward passes for $n$ keypoints, instead of $O(n^2)$ for typical patch similarity methods. We propose a convolutional spatial transformer to mimic patch normalization in traditional features like SIFT, which is shown to dramatically boost accuracy for semantic correspondences across intra-class shape variations. Extensive experiments on KITTI, PASCAL, and CUB-2011 datasets demonstrate the significant advantages of our features over prior works that use either hand-constructed or learned features.

研究の動機と目的

• 幾何学的および意味的類似性を視覚的対応の直接的な保持として学習できる特徴空間を動機付ける。
• 密にスケーラブルな特徴抽出と効率的なテストを可能にする完全畳み込みネットワークを開発する。
• 1画像対あたり数千の対応を効率的に訓練するためのCorrespondence Contrastive Lossを導入する。
• パッチ正規化を模倣し、クラス内変動に対する不変性を向上させるための畳み込み空間変換器を提案する。
• 幾何学的および意味的マッチングのベンチマーク（KITTI, PASCAL, CUB）で最新の性能を示す。

提案手法

• 対応する点が近い特徴を持ち、対応しない点がマージン m で分離されるメトリック空間を学習するために、完全畳み込みネットワークを訓練する。
• 1画像対あたり数千の対応にスケールするCorrespondence Contrastive Lossを用い、テスト時のパスをO(n)に抑え、O(n^2)を回避する。
• 最も情報量の多いネガティブを訓練に重点化するためのオンザ-fly hard negative miningを取り入れる。
• 独立した各キーポイントの空間変換を適用する畳み込み空間変換機を追加し、パッチ正規化とアフィン歪みに対する不変性を確保する。
• 密に特徴を抽出し、チャネルごとのL2正規化を行い、テスト時には特徴空間で最近傍マッチングを実行する。
• 追加的なSiamese/contrastive バリアントとアブレーション（hard negative mining、spatial transformer）の評価を行い、各成分の寄与を検証する。

実験結果

リサーチクエスチョン

• RQ1 学習されたメトリック空間は、剛性/非剛性の変動を跨いで幾何学的および意味的対応を直接最適化できるか。
• RQ2 完全畳み込みアーキテクチャと密な特徴抽出は、対応タスクの訓練とテストをより高速にできるか。
• RQ3 対応特化の損失とhard-negative miningは、パッチ類似性ベースのアプローチより対応精度を向上させるか。
• RQ4 畳み込み空間変換器は意味的マッチングにおけるクラス内形状変動への頑健性を向上させるか。
• RQ5 手作業による特徴工夫手法や従来の学習手法と比較して、UCNは標準的な幾何学的および意味的対応ベンチマークでどのように性能を発揮するか。

主な発見

手法	SIFT-NN	HOG-NN	SIFT-flow	DaisyFF	DSP	DM best	Ours-HN	Ours-HN-ST
MPI-Sintel	68.4	71.2	89.0	87.3	85.3	89.2	91.5	90.7
KITTI	48.9	53.7	67.3	79.6	58.0	85.6	86.5	83.4

• UCNは幾何学的および意味的タスクの両方で密で正確な対応を実現し、いくつかのベンチマークで従来手法を上回る。
• KITTI flowとMPI-Sintelでhard negative miningとspatial transformerを組み合わせたUCNの変種は最高性能に到達し、例としてMPI-Sintel: Ours-HN 91.5、Ours-HN-ST 90.7（PCK測定）。
• KITTIの結果はTable 3においてOurs-HN 86.5、Ours-HN-ST 83.4で強力な性能を示し、従来のいくつかの手法およびCNNベースのベースラインを凌駕。
• PASCAL-BerkeleyおよびCUBデータセットの意味的対応は畳み込み空間変換器の恩恵を受け、大きな改善を示す。
• KITTI rawシーケンスでUCN特徴を用いたカメラ運動推定は、スパースなベースラインと比較して重要行列分解結果で競合。
• 提案手法は、グローバルなMRF最適化などのポスト処理に依存せず、学習されたメトリック空間と密な特徴の強さを示して優れた性能を達成する。