[論文レビュー] DeepMatching: Hierarchical Deformable Dense Matching

Jérôme Revaud, Philippe Weinzaepfel+2 more|arXiv (Cornell University)|Jun 25, 2015

Advanced Vision and Imaging参考文献 9被引用数 8

ひとこと要約

DeepMatching は、非剛性変形および繰り返し模様のあるテクスチャに対応できる、階層的かつ可変的な高密度マッチング手法であり、深層畳み込みネットワークにインspiredされた多層相関アーキテクチャを用いる。Mikolajczyk、MPI-Sintel、Kitti ベンチマークにおいて最先端の性能を達成し、変動流動推定フレームワークに統合することで、DeepFlow と呼ばれる競争力のある光流速推定手法を実現する。

ABSTRACT

We introduce a novel matching algorithm, called DeepMatching, to compute dense correspondences between images. DeepMatching relies on a hierarchical, multi-layer, correlational architecture designed for matching images and was inspired by deep convolutional approaches. The proposed matching algorithm can handle non-rigid deformations and repetitive textures and efficiently determines dense correspondences in the presence of significant changes between images. We evaluate the performance of DeepMatching, in comparison with state-of-the-art matching algorithms, on the Mikolajczyk (Mikolajczyk et al 2005), the MPI-Sintel (Butler et al 2012) and the Kitti (Geiger et al 2013) datasets. DeepMatching outperforms the state-of-the-art algorithms and shows excellent results in particular for repetitive textures.We also propose a method for estimating optical flow, called DeepFlow, by integrating DeepMatching in the large displacement optical flow (LDOF) approach of Brox and Malik (2011). Compared to existing matching algorithms, additional robustness to large displacements and complex motion is obtained thanks to our matching approach. DeepFlow obtains competitive performance on public benchmarks for optical flow estimation.

研究の動機と目的

• 非剛性変形および弱いまたは繰り返し模様のあるテクスチャを有する画像における高密度対応関係の計算という課題に対処する。
• 従来の記述子ベース手法（例：SIFT、HOG）が非剛性またはテクスチャのない領域で失敗するという限界を克服する。
• 繰り返しパターンで困難をきたす伝播ベース手法の限界を、階層的かつマルチスケールのマッチングアーキテクチャを導入することで改善する。
• 大領域変位光流速推定（LDOF）フレームワークに DeepMatching を統合することで、堅牢な光流速推定手法を開発する。
• コアアルゴリズムの高速でスケール・回転不変な変種を用いることで、低メモリコストで高い性能を達成する。

提案手法

• 画像パッチをサブパッチに分解することでマルチスケールマッチングと変形モデリングを可能にする階層的・マルチレイヤー構造を採用する。
• 各レイヤーで制限付き剛性変形仮定の下で局所的マッチングを計算し、その後階層を上向きに伝搬・精緻化する。
• 照度変化や色変化に対して頑健性を高めるために勾配ヒストグラムを特徴表現として用いる。
• Brox と Malik (2011) の変分エネルギー最小化フレームワークに DeepMatching を統合し、大領域変位光流速推定のための DeepFlow を構築する。
• 計算コストを低減しつつ高い精度を維持する、高速でメモリ効率の良い DeepMatching の変種を適用する。
• 階層構造内で重み付きマッチングスコアを用いて、段階的に誤マッチングを排除し、対応関係の信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 従来の手法と比較して、深く階層的なアーキテクチャは、非剛性変形および繰り返し模様のあるテクスチャに対する高密度マッチングの頑健性を向上させることができるか？
• RQ2 階層的マルチスケール設計は、テクスチャが乏しくて繰り返しが多い画像領域におけるマッチング精度をどのように向上させるか？
• RQ3 MPI-Sintel や Kitti のような標準ベンチマークにおいて、DeepMatching は最先端のマッチングアルゴリズムをどの程度上回るか？
• RQ4 DeepMatching は、変分光流速推定フレームワークに効果的に統合可能であり、公開ベンチマークで競争力のある性能を達成できるか？
• RQ5 DeepMatching の高速バージョンは、計算コストとメモリ使用量を大幅に削減しながらも、十分な精度を維持できるか？

主な発見

• DeepMatching は、Mikolajczyk、MPI-Sintel、Kitti データセットにおいて最先端の性能を達成しており、特に繰り返し模様のあるテクスチャのマッチングで顕著な優位性を示している。
• MPI-Sintel ベンチマークでは、平均エンドポイント誤差（EPE）が 0.56 px にまで低下し、大領域変位および非剛性運動の処理において先行手法を上回っている。
• DeepMatching を用いて構築された光流速推定手法 DeepFlow は、Kitti テストセット（非隠蔽領域）で EPE 1.4 を達成し、トップクラスの性能を示している。
• DeepMatching の高速バージョンは、半分解像度で CPU で 15 秒で実行可能であり、GPU 版では 0.2 秒で完了するため、リアルタイムデプロイの可能性を有している。
• DeepFlow は CPU で合計 22 秒、GPU+CPU で 10.2 秒の実行時間であり、EpicFlow などの最速の最先端手法と同等の性能を達成している。
• 本手法はデータセット間での汎用性が高く、MPI-Sintel で最適化したパラメータを Kitti に適用した場合、EPE-Noc で僅か 0.1 px の性能低下にとどまり、過学習の兆候がないことが示された。