[論文レビュー] FlowNet: Learning Optical Flow with Convolutional Networks

Philipp Fischer, Alexey Dosovitskiy+7 more|arXiv (Cornell University)|Apr 26, 2015

Advanced Vision and Imaging参考文献 25被引用数 601

ひとこと要約

この論文では、教師あり学習を用いたエンド・ツー・エンドのオプティカルフロー推定のための畳み込みニューラルネットワークアーキテクチャ、FlowNetを提案する。2つのバリエーション—FlowNetSimpleとFlowNetCorr—を導入し、後者は特徴の明示的マッチングを可能にする相関層を含む。30万枚の画像ペアを含む合成データセットFlying Chairsで学習させたことで、Sintel や KITTI といった実世界のデータセットに対しても良好な一般化性能を示し、5–10 fpsのリアルタイム性能を達成する。

ABSTRACT

Convolutional neural networks (CNNs) have recently been very successful in a variety of computer vision tasks, especially on those linked to recognition. Optical flow estimation has not been among the tasks where CNNs were successful. In this paper we construct appropriate CNNs which are capable of solving the optical flow estimation problem as a supervised learning task. We propose and compare two architectures: a generic architecture and another one including a layer that correlates feature vectors at different image locations. Since existing ground truth data sets are not sufficiently large to train a CNN, we generate a synthetic Flying Chairs dataset. We show that networks trained on this unrealistic data still generalize very well to existing datasets such as Sintel and KITTI, achieving competitive accuracy at frame rates of 5 to 10 fps.

研究の動機と目的

• ディープ畳み込みネットワークを用いたエンド・ツー・エンドのオプティカルフロー推定の学習を可能にすること。
• ピクセル単位の対応マッチングを必要とする、教師あり学習としてのオプティカルフロー推定の課題に対処すること。
• 現実的でない内容（例：飛行するチェア）を含む合成データが、実世界のオプティカルフローベンチマークに一般化できるかどうかを調査すること。
• 特徴マッチングに専用の相関層を組み込んだアーキテクチャと、標準的なCNNアーキテクチャの性能を比較すること。
• 学習済みネットワークのリアルタイム推論性能と、多様な実世界データセットへの一般化性能を評価すること。

提案手法

• 2つのCNNアーキテクチャ—FlowNetSimple（標準的なエンコーダ・デコーダ）とFlowNetCorr（特徴マッチングのための相関層を備えたもの）—を提案する。
• 階層的特徴を抽出する収縮的エンコーダパスと、フローパレットの精度を向上させる拡張的デコーダパスを用いる。
• 2つの入力画像間の異なる空間位置における特徴マップ間の類似度を計算する相関層を導入する。
• 合成データ上でエンド・ツー・エンドに学習し、教師あり損失（エンドポイント誤差）を用いる。
• ランダムな背景とセグメンテーション処理が施された3Dチェアモデルを用いて、大規模な合成学習データを生成するFlying Chairsデータセットを構築する。
• 一般化性能を向上させるために、データオーグメンテーション（ランダムクロッピング、カラーのジャマリング、フリップ）を適用する。

実験結果

リサーチクエスチョン

• RQ1 合成データで学習した標準的なCNNアーキテクチャが、競争力のある精度でオプティカルフローを予測できるか？
• RQ2 専用の相関層を含めることで、標準的なCNNに比べてオプティカルフロー予測性能が向上するか？
• RQ3 非常に現実的でない合成データ（Flying Chairs）で学習したネットワークが、Sintel や KITTI のような実世界のオプティカルフローベンチマークにどの程度一般化できるか？
• RQ4 FlowNetの性能は、非学習ベースおよび学習ベースの最先端手法と比べて、精度と推論速度の両面で優れているか？
• RQ5 予測されたフローフィールドの変分的リファインメントは性能を向上させるのか、それともネットワークがすでに最適なフローレプリゼンテーションを学習しているのか？

主な発見

• FlowNetCorrは、Sintel および KITTI ベンチマークにおいて、リアルタイム手法の中で最先端の精度を達成し、Sintel Finalでのエンドポイント誤差（EPE）は3.15ピクセルであった。
• Flying Chairsデータセットで学習したネットワークは実世界のシーンに対しても良好に一般化し、Flying ChairsテストセットにおいてDeepFlow や EpicFlow よりも優れた性能を示した。
• 微調整なしでも、FlowNetはSintelとKITTIで競争力ある性能を達成し、それぞれEPEが3.15ピクセルおよび5.25ピクセルであった。これは強力なゼロショット一般化能力を示している。
• FlowNetCorrの相関層は、大規模な動きや微細なディテールの処理において性能向上をもたらしており、EpicFlowとの定性的比較でその有効性が示された。
• FlowNetSはSintelに対してFlowNetCよりも一般化性能が優れており、一方でFlowNetCはFlying ChairsおよびSintel Cleanで優れた性能を示しており、学習データにわずかにオーバーフィットしている可能性がある。
• 変分的リファインメントはFlying Chairsでの性能を低下させた。これは、ネットワークの内部表現がすでに高品質なフローフィールドを捉えきっていることを示している。