[論文レビュー] FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks

Eddy Ilg, N. Michael Mayer+4 more|arXiv (Cornell University)|Dec 6, 2016

Advanced Vision and Imaging被引用数 50

ひとこと要約

FlowNet 2.0 は、特徴ワープを伴うスタックドアーキテクチャ、小規模な変位を専用に扱うサブネットワーク、およびマルチデータセットトレーニングスケジュールを導入することで、光流体推定を顕著に改善した。FlowNetと比較して推定誤差を50%以上低減し、SintelおよびKITTIベンチマークで最先端の精度を達成しており、インタラクティブなフレームレート（8–140 fps）で動作する。

ABSTRACT

The FlowNet demonstrated that optical flow estimation can be cast as a learning problem. However, the state of the art with regard to the quality of the flow has still been defined by traditional methods. Particularly on small displacements and real-world data, FlowNet cannot compete with variational methods. In this paper, we advance the concept of end-to-end learning of optical flow and make it work really well. The large improvements in quality and speed are caused by three major contributions: first, we focus on the training data and show that the schedule of presenting data during training is very important. Second, we develop a stacked architecture that includes warping of the second image with intermediate optical flow. Third, we elaborate on small displacements by introducing a sub-network specializing on small motions. FlowNet 2.0 is only marginally slower than the original FlowNet but decreases the estimation error by more than 50%. It performs on par with state-of-the-art methods, while running at interactive frame rates. Moreover, we present faster variants that allow optical flow computation at up to 140fps with accuracy matching the original FlowNet.

研究の動機と目的

• 小規模な変位や実世界データに対して、深層光流体推定の精度と頑健性を向上させること。
• エンドツーエンド学習フレームワークを有するものの、小規模な動きや実世界の動画では性能が劣るFlowNetの限界を是正すること。
• リアルタイム応用に適した、速度と精度のバランスを取ったスケーラブルなアーキテクチャを開発すること。
• モーションセグメンテーションやアクティビティ認識などの下流タスクに信頼性の高い光流体を提供すること。
• データセットスケジューリングとアーキテクチャ的革新を通じたトレーニング戦略最適化により、先行する学習ベース手法を凌駕すること。

提案手法

• 中間の流れ予測を用いて2番目の画像をワープすることで、複数段階にわたる流れ推定の精度を向上させるスタックドアーキテクチャを導入する。
• 小規模な、サブピクセル単位の変位に特化した、ストライドを小さくし、残差接続を備えたサブネットワーク（FlowNetS）を設計する。
• 合成データセット（例：FlyingChairs、FlyingThings3D）を特定の順序で組み合わせるマルチデータセットトレーニングスケジュールを実装し、一般化性能を向上させる。
• 初期の特徴抽出段階で相関レイヤーを用いることで、フレーム間の画像パッチ同士のマッチングを強化する。
• 大規模な変位を扱うスタックと小運動専用サブネットワークの予測を、軽量なファージョンネットワークで統合し、両者の長所を組み合わせる。
• トレーニングの安定化と収束の改善を図るため、データセットを交互に切り替える学習スケジュールを適用する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドの深層学習による光流体推定は、実世界データや小規模な変位のシナリオでも最先端の性能を達成できるか？
• RQ2 トレーニングデータセットの順序と組み合わせ方が、光流体ネットワークの一般化性能と精度にどのように影響するか？
• RQ3 画像ワープを伴う複数段階の流れネットワークのスタック化は、単一段階アーキテクチャを上回る性能を実現できるか？
• RQ4 小運動専用サブネットワークは、微細な動きの詳細における精度を顕著に向上させられるか？
• RQ5 8–140 fps のリアルタイム推論速度を達成しつつ、精度をどの程度維持できるか？

主な発見

• FlowNet 2.0 は、元のFlowNetと比較して推定誤差を50%以上低減し、SintelおよびKITTIベンチマークで最先端の性能を達成した。
• 実世界データにおいて、滑らかで詳細な流れ場を生成し、動きぼけや圧縮アーチファクトに対しても高い頑健性を示した。
• Middleburyベンチマークでは、モーションセグメンテーションのF-measureが79.92%、アクティビティ認識の正確さが79.51%を達成し、最先端の手法と同等またはそれを上回った。
• 最も高速なバージョンは140 fpsで動作し、元のFlowNetと同等の精度を維持しており、リアルタイム応用を可能にした。
• マルチデータセットトレーニングスケジュールとワープベースのスタック構造は性能向上に不可欠であり、アブレーションスタディによりそれらの個別的および相乗的影響が確認された。
• 専用のFlowNetSサブネットワークは、小規模な変位における性能を顕著に向上させ、これはもともとFlowNetの弱みであった分野であった。