[論文レビュー] A Lightweight Optical Flow CNN - Revisiting Data Fidelity and Regularization

Tak-Wai Hui, Xiaoou Tang+1 more|arXiv (Cornell University)|Mar 15, 2019

Advanced Vision and Imaging参考文献 44被引用数 28

ひとこと要約

LiteFlowNet2 は、変分法からのデータ整合性と正則化を再考し、特徴マッピング、段階的フローインファレンス、特徴駆動型正則化を用いる、軽量で高速かつ高精度な光流動 CNN を提案する。Sintel および KITTI ベンチマークで最先端の精度を達成しているが、FlowNet2 よりも 25.3× 小さく、3.1× 速く、Sintel Clean では LiteFlowNet よりも 23.3% 高い性能を発揮する。

ABSTRACT

Over four decades, the majority addresses the problem of optical flow estimation using variational methods. With the advance of machine learning, some recent works have attempted to address the problem using convolutional neural network (CNN) and have showed promising results. FlowNet2, the state-of-the-art CNN, requires over 160M parameters to achieve accurate flow estimation. Our LiteFlowNet2 outperforms FlowNet2 on Sintel and KITTI benchmarks, while being 25.3 times smaller in the model size and 3.1 times faster in the running speed. LiteFlowNet2 is built on the foundation laid by conventional methods and resembles the corresponding roles as data fidelity and regularization in variational methods. We compute optical flow in a spatial-pyramid formulation as SPyNet but through a novel lightweight cascaded flow inference. It provides high flow estimation accuracy through early correction with seamless incorporation of descriptor matching. Flow regularization is used to ameliorate the issue of outliers and vague flow boundaries through feature-driven local convolutions. Our network also owns an effective structure for pyramidal feature extraction and embraces feature warping rather than image warping as practiced in FlowNet2 and SPyNet. Comparing to LiteFlowNet, LiteFlowNet2 improves the optical flow accuracy on Sintel Clean by 23.3%, Sintel Final by 12.8%, KITTI 2012 by 19.6%, and KITTI 2015 by 18.8%, while being 2.2 times faster. Our network protocol and trained models are made publicly available on https://github.com/twhui/LiteFlowNet2.

研究の動機と目的

• 既存のディープラーニング手法と比較して、モデルサイズと推論時間を著しく削減しつつも、高い精度を維持する軽量な光流動 CNN の開発。
• 古典的で変分法に基づく光流動手法と現代の CNN の間のギャップを埋めるために、ディープラーニングフレームワーク内で明示的にデータ整合性項と正則化項をモデル化すること。
• 新規の段階的フローインファレンス機構と効果的な特徴駆動型正則化を通じて、フローや推定の精度を向上させること。
• SLAM や動画処理、3次元再構築などのリソース制約のあるアプリケーションにおけるリアルタイムでの光流動ネットワークのデプロイを可能にすること。

提案手法

• 入力画像ペアからマルチスケール特徴を抽出するための空間的ピラミッド特徴抽出ネットワーク（NetC）を用いる。
• 記述子マッチングとサブピクセルリファインメントを用いて、ピラミッドの複数レベルでフローパレットを段階的に精緻化する段階的フローインファレンスモジュール（NetE）を採用する。
• 画像マッピングの代わりに特徴マッピングを用いることで、レベル間での特徴の伝搬を効率的かつ正確に実現する。
• 外れ値を抑制し、境界の整合性を向上させるために、特徴駆動型の局所畳み込みを用いたフローモジュール正則化を導入する。
• 学習された特徴記述子と相関レイヤーを組み合わせることで、点対応のロバスト性を高めるハイブリッドデータ整合性項を活用する。
• エンコーダーで重みを共有し、効率的なモジュール（例：分数ステップ畳み込み）を用いることで、パラメータ数と計算量を最小限に抑える軽量なアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 変分法のデータ整合性と正則化を明示的にモデル化することで、軽量な CNN が最先端の光流動精度を達成できるか？
• RQ2 深層光流動ネットワークにおいて、特徴マッピングは画像マッピングと比較して、精度と効率の面でどのように優れているか？
• RQ3 段階的フローインファレンスと特徴駆動型正則化は、フローや推定の精度とロバスト性にどのような影響を与えるか？
• RQ4 より小さい、より速いネットワークが、FlowNet2 などの大規模な最先端モデルを速度と精度の両面で上回れるか？
• RQ5 古典的な変分法の設計原則が、現代の CNN を用いた光流動推定にどの程度効果的に転送可能か？

主な発見

• LiteFlowNet2 は、Sintel Clean ベンチマークで LiteFlowNet よりも 23.3% 高い精度を達成し、2.2× の高速化を実現した。
• Sintel Final では 12.8%、KITTI 2012 では 19.6%、KITTI 2015 では 18.8% の性能向上を達成したが、FlowNet2 よりも 25.3× 小さく、3.1× 速い。
• 画像マッピングではなく特徴マッピングを用いることで、大幅に効率が向上し、ピラミッドレベル間での特徴伝搬が改善された。
• 特徴駆動型正則化モジュールは、外れ値を効果的に低減させ、特にテクスチャが豊かで動きが曖昧な領域でのフローベースラインの精度を向上させた。
• 記述子マッチングとサブピクセルリファインメントを組み合わせた段階的フローインファレンスにより、早期補正と高精度なフローや推定が可能になった。
• 精度と効率のバランスを適切に保ち、SLAM やアクティビティ認識、3次元再構築などのリアルタイム応用に適したモデルを実現した。