[論文レビュー] LiteFlowNet: A Lightweight Convolutional Neural Network for Optical Flow Estimation

Tak-Wai Hui, Xiaoou Tang+1 more|arXiv (Cornell University)|May 18, 2018

Advanced Vision and Imaging参考文献 2被引用数 80

ひとこと要約

LiteFlowNet は挑戦的なベンチマークで FlowNet2 を上回るコンパクトな CNN であり、約 30 倍のパラメータ数削減と約 1.36 倍の高速な実行時間を実現。 cascaded flow inference, feature warping, and a novel flow regularization layer により達成。

ABSTRACT

FlowNet2, the state-of-the-art convolutional neural network (CNN) for optical flow estimation, requires over 160M parameters to achieve accurate flow estimation. In this paper we present an alternative network that outperforms FlowNet2 on the challenging Sintel final pass and KITTI benchmarks, while being 30 times smaller in the model size and 1.36 times faster in the running speed. This is made possible by drilling down to architectural details that might have been missed in the current frameworks: (1) We present a more effective flow inference approach at each pyramid level through a lightweight cascaded network. It not only improves flow estimation accuracy through early correction, but also permits seamless incorporation of descriptor matching in our network. (2) We present a novel flow regularization layer to ameliorate the issue of outliers and vague flow boundaries by using a feature-driven local convolution. (3) Our network owns an effective structure for pyramidal feature extraction and embraces feature warping rather than image warping as practiced in FlowNet2. Our code and trained models are available at https://github.com/twhui/LiteFlowNet .

研究の動機と目的

• 光学フロー推定のための軽量でありながら高精度な CNN の開発を動機づける。
• 探索空間を削減し効率を向上させるためのピラミッド型特徴抽出と特徴ワーピングを開発する。
• 記述子マッチングを用いた階層的フロー推定を導入し、逐次的な改良を実現する。
• 特徴駆動の局所畳み込み正則化を組み込み、外れ値を抑制し境界をシャープにする。
• 標準ベンチマークでのエンドツーエンド訓練と競争力のある性能を実証する。

提案手法

• 2つのサブネットワーク: ピラミッド型特徴抽出の NetC とピラミッド型フロー推定の NetE。
• CNN特徴に適用する特徴ワーピング（f-warp）により、特徴空間の距離を低減する。
• 各ピラミッド階層で、記述子マッチングユニット M とサブピクセル改良ユニット S を組み込んだ階層的フロー推定。
• 短距離探索と疎採択を用いたコストボリュームベースの記述子マッチングで計算を削減。
• 特徴駆動の局所畳み込み正則化（f-lconv）を用い、フィルタは特徴・フロー・遮蔽信号に適応。
• 訓練はピラミッドレベルごとに段階的に M、S、および R ユニットを追加し、L2 ロスと Adam 最適化を用いたエンドツーエンド訓練。

実験結果

リサーチクエスチョン

• RQ1 大幅に少ないパラメータ数で、コンパクトな CNN アーキテクチャが最先端またはそれに近い光学フローの精度を達成できるか？
• RQ2 CNN特徴空間での特徴ワーピングは、画像ワーピングよりもマッチングの効率と精度を改善するか？
• RQ3 記述子マッチングとサブピクセル改良を備えた階層的フロー推定戦略は、大きな変位のフロー推定を改善するか？
• RQ4 学習された特徴駆動の正則化層は、アーティファクトを減らし境界をシャープにしつつ効率を維持できるか？

主な発見

• LiteFlowNet は Sintel 最終パスおよび KITTI ベンチマークで FlowNet2 と競合するか優位な結果を達成し、パラメータを約30分の1に削減し、約1.36倍の高速化を実現。
• NetC（特徴）と NetE（フロー）を分離した6レベルのピラミッドにより、粗から細へ有効な推定を実現。
• CNN特徴の特徴ワーピング（f-warp）は推定すべき残りのフローを減らし、精度と効率を向上させる。
• 記述子マッチング（M）とサブピクセル改良（S）を用いた階層的フロー推定は、段階的にフローを改善し、大きな変位を伴うケースを援助する。
• 新規の特徴駆動局所畳み込み正則化（f-lconv）は、画像とフローを意識した正則化を提供し、境界を安定させ、アーティファクトを減らす。
• LiteFlowNet およびその派生は SPyNet や FlowNet2 変種のいくつかを上回り、パラメータ効率も大幅に優位である。タスク固有データで訓練した場合、LiteFlowNet-ft（ファインチューニング済み）は Sintel および KITTI で優れた性能を示す。