[論文レビュー] Convolutional neural network architecture for geometric matching

Ignacio Rocco, Relja Arandjelović+1 more|HAL (Le Centre pour la Communication Scientifique Directe)|Mar 16, 2017

Advanced Image and Video Retrieval Techniques参考文献 47被引用数 53

ひとこと要約

差分可能なマッチング層を用い、合成データでのエンドツーエンド学習を通じて、画像ペア間の幾何変換を推定する完全に訓練可能なCNNアーキテクチャ。インスタンスレベルおよびカテゴリレベルのマッチングで最先端の結果を達成。

ABSTRACT

We address the problem of determining correspondences between two images in agreement with a geometric model such as an affine or thin-plate spline transformation, and estimating its parameters. The contributions of this work are three-fold. First, we propose a convolutional neural network architecture for geometric matching. The architecture is based on three main components that mimic the standard steps of feature extraction, matching and simultaneous inlier detection and model parameter estimation, while being trainable end-to-end. Second, we demonstrate that the network parameters can be trained from synthetically generated imagery without the need for manual annotation and that our matching layer significantly increases generalization capabilities to never seen before images. Finally, we show that the same model can perform both instance-level and category-level matching giving state-of-the-art results on the challenging Proposal Flow dataset.

研究の動機と目的

• 大きな外観変化や雑然とした背景の下で、堅牢な画像間対応を動機づける。
• 古典的な特徴マッチングと堅牢な変換推定を模倣する、エンドツーエンドで学習可能なアーキテクチャを開発する。
• 手動アノテーションなしで合成データからの訓練を可能にしつつ、強い一般化能力を達成する。
• 単一のフレームワーク内で、インスタンスレベルとカテゴリレベルの幾何マッチングの両方をサポートする。

提案手法

• Siamese CNN特徴抽出器（pool4までのVGG-16、特徴ごとにL2正規化）で密なディスクリプタを生成する。
• 相関ベースのマッチング層は全てのペアごとのディスクリプタ類似度を計算し、曖昧なマッチを抑えるためチャネル単位の正規化を適用する。
• 回帰ネットワーク（2つの畳み込み層＋バッチ正規化＋ReLU＋最終全結合層）で、正規化された相関マップから変換パラメータを推定する。
• 階層的変換モデリング：まずアフィン変換を推定し画像Aをワープし、次にTPS（薄板スプライン）を推定して洗練を行い、最終TPSを合成する。
• 歪んだグリッド上の完全に教師あり損失を用いた合成変換からの訓練により、手動アノテーションなしでエンドツーエンドのバックプロパゲーションを可能にする。
• 損失関数は、変形可能なグリッド上で、真の変換と推定変換を適用した後のグリッド点の変位を測定し、勾配は変換パラメータに対して計算される。

実験結果

リサーチクエスチョン

• RQ1 完全に訓練可能なCNNアーキテクチャは、古典的なマッチングパイプラインを模倣して画像ペア間の幾何変換を推定できるか？
• RQ2 正規化付きの相関ベースのマッチング層は、結合や減算方式と比べて clutter や反復パターンに対する頑健性を向上させるか？
• RQ3 合成データからのエンドツーエンド訓練は、未知の画像へ一般化し、カテゴリレベルとインスタンスレベルの両方のマッチングをサポートできるか？
• RQ4 複雑な幾何変換に対して、連続的な2段階推定（アフィン次にTPS）からどんな利得が生じるか？

主な発見

方法	PCK (%)
DeepFlow	20
GMK	27
SIFT Flow	38
DSP	29
Proposal Flow NAM	53
Proposal Flow PHM	55
Proposal Flow LOM	56
RANSAC with our features (affine)	47
Ours (affine)	49
Ours (affine + thin-plate spline)	56
Ours (affine ensemble + thin-plate spline)	57

• 提案手法はProposal Flowデータセットで最先端のPCKを達成し、オブジェクト提案に依存する手法を上回る。
• アフィンとTPSの段階で整合性が改善され、アフィン推定をアンサンブルすることで性能がさらに向上する。
• チャネルごとの正規化を備えた相関層は、一般化と精度の点で結合や減算マッチング戦略を上回る。
• 正規化（第2近傍を模倣すること）は性能を大幅に向上させる（アブレーションで例: 44%から49%）。
• このアプローチは、トレーニングデータソース（StreetView対Pascal VOCの合成データセット）を跨いでも良く一般化する。
• 定性的な結果は、大きな外観変化、雑然さ、背景、および非剛体変形への頑健な対応を示している。