[論文レビュー] UnFlow: Unsupervised Learning of Optical Flow with a Bidirectional Census Loss

Simon Meister, Junhwa Hur+1 more|arXiv (Cornell University)|Nov 21, 2017

Advanced Vision and Imaging被引用数 4

ひとこと要約

本論文では、合成または実際の真値データに依存しないようにするため、双方向のセンサス損失を用いた教師なし深層学習手法UnFlowを提案する。オクルージョンを考慮した双方向の流れ推定と頑健なセンサス変換を組み合わせることで、KITTIベンチマークで最先端の性能を達成し、従来の教師なし手法および単独で合成データで訓練された教師ありモデルを上回る。

ABSTRACT

In the era of end-to-end deep learning, many advances in computer vision are driven by large amounts of labeled data. In the optical flow setting, however, obtaining dense per-pixel ground truth for real scenes is difficult and thus such data is rare. Therefore, recent end-to-end convolutional networks for optical flow rely on synthetic datasets for supervision, but the domain mismatch between training and test scenarios continues to be a challenge. Inspired by classical energy-based optical flow methods, we design an unsupervised loss based on occlusion-aware bidirectional flow estimation and the robust census transform to circumvent the need for ground truth flow. On the KITTI benchmarks, our unsupervised approach outperforms previous unsupervised deep networks by a large margin, and is even more accurate than similar supervised methods trained on synthetic datasets alone. By optionally fine-tuning on the KITTI training data, our method achieves competitive optical flow accuracy on the KITTI 2012 and 2015 benchmarks, thus in addition enabling generic pre-training of supervised networks for datasets with limited amounts of ground truth.

研究の動機と目的

• 光学フロー推定における合成学習データと現実世界のテストシナリオとのドメインギャップを解消すること。
• 真値の流れアノテーションが不要な現実世界の画像シーケンス上で効果的な学習が可能な教師なし損失関数の開発。
• 双方向の流れ推定とセンサス変換を用いて、現実の画像におけるオクルージョンおよび明度変動に対する耐性を向上させること。
• 大規模な現実世界データセットを用いた事前学習を可能にし、限られた現実のアノテーションで微調整することで最先端の性能を達成すること。
• 教師なしで現実データを学習することで、合成データで訓練された教師ありモデルを上回る現実世界ベンチマークでの性能を示すこと。

提案手法

• 画像ペアを入れ替えた双方向の光学フロー推定設定を提案し、ネットワークが前向きおよび後向きの両方向に流れを計算する。
• 光度再構成誤差とセンサス変換を組み合わせた新しい教師なし損失を導入し、明度変動に対する耐性を向上させる。
• 前向きおよび後向きの流れ予測の整合性を活用することで、オクルージョンの推論を統合する。
• より高次の滑らかさ項を導入し、流れ場を正則化して動き推定のノイズを低減する。
• 異なる動きスケールにわたる精度と一般化性能を向上させるためにマルチスケールアーキテクチャを採用する。
• 限定的なKITTI真値を用いたオプションの微調整を可能にし、困難な領域での性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 双方向の流れとセンサス変換に基づく教師なし損失は、既存の教師なし光学フロー手法よりも現実世界ベンチマークで優れた性能を発揮できるか？
• RQ2 現実世界の画像シーケンスで教師なし学習することで、合成データセットで教師あり学習するのを上回る現実世界の性能が得られるか？
• RQ3 提案された損失関数は、真値がなくても大規模な現実世界データセットでの効果的な事前学習を可能にし、限られたアノテーションでの微調整をサポートできるか？
• RQ4 双方向の流れを用いたオクルージョンの推論を組み込むことで、現実世界のシーンにおける耐性がどのように向上するか？
• RQ5 センサス変換の導入が、明度変動および現実世界の画像歪みに対して性能をどの程度向上させるか？

主な発見

• SYNTHIAおよびKITTIで学習した完全に教師なしのモデルであるUnFlow-Cは、KITTI 2012および2015で、すべての先行教師なし深層ネットワークを上回り、エンドポイント誤差を前回の教師なし手法と比較して半分以下に削減した。
• UnFlow-Cは、合成データのみで訓練された教師ありのFlowNetSおよびFlowNetCよりも高い精度を達成し、現実世界ドメインでの学習の優位性を示した。
• 微調整されたUnFlow-CS-ftおよびUnFlow-CSS-ftモデルは、カスタムの訓練スケジュールや補助ネットワークを必要としないが、より複雑な教師ありモデルであるFlowNet2-ft-kittiと同等の性能を達成した。
• KITTIデータを用いずにCityscapesで学習したUnFlow-C-Cityscapesも、UnsupFlownetおよびDSTFlowを上回り、ドメイン間での強い一般化性能を示した。
• Middleburyベンチマークでは、UnFlow-CおよびUnFlow-C-Cityscapesが教師ありのFlowNetSを上回り、ドライビングドメインを超えた強力な転移性を示した。
• Sintelでは、UnFlow-CがDSTFlowを上回り、学習に明示的に使われなかった合成データに対しても効果を発揮することが示され、損失関数の頑健性が強調された。