[論文レビュー] Optical Flow Estimation using a Spatial Pyramid Network

Anurag Ranjan, Michael J. Black|arXiv (Cornell University)|Nov 3, 2016

Advanced Vision and Imaging参考文献 32被引用数 20

ひとこと要約

本稿では、古典的な粗-細かい空間的ピラミッドと深層学習を組み合わせることで、効率的な流れ推定を実現する軽量なオプティカルフロー網「SPyNet」を提案する。各ピラミッドレベルで深層ネットワークを適用し、1ピクセル未満の小さな流れの更新を予測することで、FlowNetと比較してモデルサイズを96%削減した。MiddleburyおよびKITTIベンチマークにおいて優れた精度を達成し、リアルタイムかつ組み込み環境でのデプロイが可能になった。また、学習されたフィルタは古典的な微分やガボールフィルタに類似しており、解釈可能であることが示された。

ABSTRACT

We learn to compute optical flow by combining a classical spatial-pyramid formulation with deep learning. This estimates large motions in a coarse-to-fine approach by warping one image of a pair at each pyramid level by the current flow estimate and computing an update to the flow. Instead of the standard minimization of an objective function at each pyramid level, we train one deep network per level to compute the flow update. Unlike the recent FlowNet approach, the networks do not need to deal with large motions; these are dealt with by the pyramid. This has several advantages. First, our Spatial Pyramid Network (SPyNet) is much simpler and 96% smaller than FlowNet in terms of model parameters. This makes it more efficient and appropriate for embedded applications. Second, since the flow at each pyramid level is small (< 1 pixel), a convolutional approach applied to pairs of warped images is appropriate. Third, unlike FlowNet, the learned convolution filters appear similar to classical spatio-temporal filters, giving insight into the method and how to improve it. Our results are more accurate than FlowNet on most standard benchmarks, suggesting a new direction of combining classical flow methods with deep learning.

研究の動機と目的

• 古典的な粗-細かいピラミッド手法と深層学習を組み合わせることで、オプティカルフロー推定の精度と効率を向上させること。
• モバイルおよび組み込みアプリケーションへのデプロイを可能にするために、モデルサイズと推論時間を削減すること。
• ランダムなフィルタではなく、生物学的に妥当で解釈可能な空間的・時間的フィルタを学習することで、モデルの透明性を高め、最適化の可能性を高めること。
• 深層ネットワークが大規模な動きを処理する能力に限界があるのを補うために、このタスクをピラミッド構造に任せる。
• 大規模な動きが発生する状況において、各ピラミッドレベルで流れの更新を学習することで、エンドツーエンドの流れ推定よりも優れた性能を達成できることを示すこと。

提案手法

• 入力画像ペアを複数の解像度レベルにダウンサンプリングすることで空間的ピラミッドを構築し、大規模な動きを粗いレベルでサブピクセルの変位に縮小する。
• 各ピラミッドレベルで、現在の流れ推定値を用いて一方の画像をもう一方にワープし、流れ更新の予測に適した整合化された画像ペアを生成する。
• 各ピラミッドレベルごとに、深層畳み込みニューラルネットワークを訓練し、流れの増分を予測する。古典的なエネルギー最小化の代わりに、学習された更新関数を採用する。
• 流れ推定値を各レベルからアップサンプリングし、次のレベルに加算することで、反復なしの粗-細かい精錬プロセスを形成する。
• ネットワークはFlying Chairsデータで訓練され、MiddleburyおよびKITTIでファインチューニングされる。ピラミッドレベル間でアーキテクチャを共有することでパrameter数を削減する。
• SPyNetで学習されたフィルタは、古典的なガウス微分およびガボールフィルタに類似しており、既存の動き処理モデルと整合している可能性を示している。

実験結果

リサーチクエスチョン

• RQ1 深層学習アプローチは、組み込みシステムに適した小さなモデルサイズを維持しつつ、オプティカルフロー推定の精度を向上させることができるか？
• RQ2 大規模な動き推定を、複数のピラミッドレベルで小さな学習可能な更新に分解することで、エンドツーエンド学習よりも優れた性能が得られるか？
• RQ3 ピラミッドベースのネットワークが学習するフィルタは、古典的な空間的・時間的フィルタに類似しているか？ これは生物学的および工学的原則との整合性を示唆する。
• RQ4 軽量なネットワークは、従来の深層ネットワークよりもはるかに高速かつ小型であるにもかかわらず、標準ベンチマークで最先端の精度を達成できるか？
• RQ5 エンドツーエンドの深層学習と比較して、古典的なピラミッドワープと学習された流れ更新の組み合わせは、ロバストネスと一般化性能において優れているか？

主な発見

• SPyNetはFlowNetと比較してモデルサイズを96%削減し、より高速な推論とモバイル・組み込みデバイスへのデプロイを可能にした。
• ファインチューニング後、MiddleburyおよびKITTIベンチマークにおいて、FlowNetよりも高い精度を達成したが、モデルははるかに小型であった。
• 畳み込みフィルタは古典的なガウス微分およびガボールフィルタに類似しており、意味のある特徴抽出と解釈可能性を示している。
• SPyNetは、速度-精度トレードオフにおいて、すべての高速化手法を上回り、リアルタイム対応ネットワークの中で最良のバランスを実現した。
• 各レベルで学習された更新を用いた粗-細かいアプローチにより、各レベルでサブピクセルの変位が保証されるため、大規模な動きの処理が効果的に行えるようになった。
• 本手法は空間的ピラミッドの限界を引き継いでおり、細い物体や高速移動物体の動きを捉えるのが難しい。今後の課題として、スパースマッチングやチャネル定常性表現との統合が求められる。