[論文レビュー] Pyramidal Gradient Matching for Optical Flow Estimation

Yuanwei Li|arXiv (Cornell University)|Apr 11, 2017

Advanced Vision and Imaging参考文献 10被引用数 3

ひとこと要約

本稿では、画像勾配を用いてロバストで効率的かつスケーラブルな密一致を可能にする、光流推定のためのピラミッド勾配マッチング手法を提案する。勾配に基づくパッチ表現と、制限付きPatchMatchにインspiredされた新規ピラミッドフレームワークを活用することで、MPI Sintel（クリーンおよび最終パスで1位）およびKITTI（KITTI2015で1位、KITTI2012で2位）で最先端の性能を達成し、競争力ある速度と優れた外れ値除去性能を兼ね備える。

ABSTRACT

Initializing optical flow field by either sparse descriptor matching or dense patch matches has been proved to be particularly useful for capturing large displacements. In this paper, we present a pyramidal gradient matching approach that can provide dense matches for highly accurate and efficient optical flow estimation. A novel contribution of our method is that image gradient is used to describe image patches and proved to be able to produce robust matching. Therefore, our method is more efficient than methods that adopt special features (like SIFT) or patch distance metric. Moreover, we find that image gradient is scalable for optical flow estimation, which means we can use different levels of gradient feature (for example, full gradients or only direction information of gradients) to obtain different complexity without dramatic changes in accuracy. Another contribution is that we uncover the secrets of limited PatchMatch through a thorough analysis and design a pyramidal matching framework based these secrets. Our pyramidal matching framework is aimed at robust gradient matching and effective to grow inliers and reject outliers. In this framework, we present some special enhancements for outlier filtering in gradient matching. By initializing EpicFlow with our matches, experimental results show that our method is efficient and robust (ranking 1st on both clean pass and final pass of MPI Sintel dataset among published methods).

研究の動機と目的

• 大規模な変位、隠蔽、照明変化の下でも正確かつ効率的な光流推定を達成すること。
• SIFTなどの複雑な特徴量（例：SIFT）を画像勾配に置き換えることで、密一致のロバスト性を向上させること。
• 勾配ベースの一致におけるインライアーディテクションと外れ値のフィルタリングを強化するピラミッドマッチングフレームワークを設計すること。
• 精度を損なわずに、異なる詳細レベル（例：全勾配対勾配方向のみ）における勾配特徴のスケーラビリティを示すこと。
• 制限付きPatchMatchの背後にある原理を解明し、光流におけるロバストな勾配マッチングに適応すること。

提案手法

• 入力画像の空間的微分として計算される勾配画像を用いて、従来の特徴量（例：SIFT）やパッチ距離メトリクスに代わる画像パッチの表現を実現する。
• 粗〜細のピラミッド構造において、制限付きPatchMatch風の探索を実行し、勾配ベースの類似度をマッチング基準とする。
• スケール間でマッチングを体系的に精錬する新規ピラミッドマッチングフレームワークを導入し、インライアーマッチングの拡大と外れ値のフィルタリングに焦点を当てる。
• 計算的に効率的で、照明変化やテクスチャの欠片な領域に対してもロバストな勾配ベースのデータ項を採用する。
• 最小限の精度低下で、複数の勾配設定（例：グレースケールでは2チャネル、カラーでは6チャネル）をサポートし、速度と精度のトレードオフを可能にする。
• ピラミッドフレームワーク内に強化された外れ値フィルタリング機構を統合し、スパースからディンスへの補間の前にマッチング品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 画像勾配は、SIFTのような専用特徴量に代わる効果的で効率的な代替手段として機能するか？
• RQ2 制限付きPatchMatchの原則を活用することで、勾配ベースのマッチングにおけるロバスト性をどのように向上させられるか？
• RQ3 勾配ベースのマッチングは、異なるレベルの勾配詳細（例：全勾配対勾配方向のみ）において、どの程度スケーラブルか？
• RQ4 勾配マッチングに基づくピラミッドフレームワークは、ベンチマークデータセットで既存の最先端手法を上回る性能を発揮できるか？
• RQ5 大規模な変位、隠蔽、均一な領域などの困難な状況下で、勾配ベースのマッチングはどの程度の性能を示すか？

主な発見

• 提案手法は、公開済み手法の中でMPI Sintelベンチマークのクリーンパスおよび最終パスで1位を達成し、EpicFlow、FlowFields、CPM-Flowを上回った。
• KITTI2015データセットでは、Fl-Bg（18.90%）およびFl-All（20.45%）の誤差率が最低で1位を記録し、合計推論時間は2.05秒＋3秒であった。
• KITTI2012では、AEE-Noc（平均終点誤差）が0.349と最小となり、EpicFlowやCPM-Flowを上回った。
• CPM-Flow（KITTI2015で180秒対4.2秒）よりも顕著に高速であり、勾配方向（2チャネル）のみの特徴を使用しても高い精度を維持した。
• 勾配方向情報のみを用いた極端なバージョンは、競争力ある精度を維持しながら顕著な高速化を達成し、スケーラビリティを示した。
• 定性的な結果では、車両などの動く物体や複雑な背景でも強力な性能を示したが、大規模な均一領域ではマッチングの曖昧さにより失敗が発生した。