[論文レビュー] SelFlow: Self-Supervised Learning of Optical Flow

Pengpeng Liu, Michael R. Lyu+2 more|arXiv (Cornell University)|Apr 19, 2019

Advanced Vision and Imaging参考文献 50被引用数 14

ひとこと要約

SelFlow は、視認不能領域のないピxlsからの信頼性の高いフロー予測を用いて、幻視化された視認不能領域におけるフロー学習をガイドする自己教師あり学習フレームワークを提案する。シンプルなCNNを用い、スーパーピクセルベースのノイズ注入とマルチフレーム時系列モデリングを行うことで、自己教師あり学習の最先端性能を達成し、教師あり微調整後、Sintelベンチマークで4.26のEPEを達成し、すべての先行手法を上回った。

ABSTRACT

We present a self-supervised learning approach for optical flow. Our method distills reliable flow estimations from non-occluded pixels, and uses these predictions as ground truth to learn optical flow for hallucinated occlusions. We further design a simple CNN to utilize temporal information from multiple frames for better flow estimation. These two principles lead to an approach that yields the best performance for unsupervised optical flow learning on the challenging benchmarks including MPI Sintel, KITTI 2012 and 2015. More notably, our self-supervised pre-trained model provides an excellent initialization for supervised fine-tuning. Our fine-tuned models achieve state-of-the-art results on all three datasets. At the time of writing, we achieve EPE=4.26 on the Sintel benchmark, outperforming all submitted methods.

研究の動機と目的

• 大規模なラベル付きデータに依存せずに、視認不能領域の課題に対処すること。
• ラベルなし動画データを活用して、静的・動的シーンの両方において頑健な光学フローを学習する自己教師あり手法を開発すること。
• 合成事前学習データへの依存を低減し、データセット固有のトレーニングスケジュールの必要性を排除すること。
• 信頼性の高い非視認不能領域のフローパredictionを用いて、幻視化された視認不能領域の学習を自己教師ありでガイドすることで、自己教師あり光学フロー性能を向上させること。
• 自己教師あり事前学習が、教師ありベンチマークでの優れた微調整性能を実現できることを示すこと。

提案手法

• 本手法は二本のブランチを持つネットワークを採用する：非視認不能ピxlsのフロー推定を目的としたphotometric損失で訓練されるNOCモデルと、視認不能領域のフローを学習するOCCモデル。
• 対象フレームのランダムに選択されたスーパーピクセルを摂動させることで、合成的な視認不能領域を生成する。
• 自己教師あり学習は、非視認不能ピxlsにおけるNOCモデルの予測を用いて、新たに視認不能となったピxlsにおけるOCCモデルの学習をガイドする。
• シンプルなCNNアーキテクチャが複数フレームからの時系列情報を統合し、フロー推定の精度を向上させる。
• 信頼性の低い領域を除外するために、視認不能マスクを用いたphotometric損失を採用する。
• ランダムなスーパーピクセル摂動によるデータ distillation を用いて、多様な視認不能パターンを生成し、頑健な自己教師あり学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 完全にラベルなしの環境下で、複雑な自然の視認不能領域が存在する状況でも、自己教師あり学習が効果的に光学フローを推定できるか？
• RQ2 非視認不能領域からの信頼性の高いフローパredictionを、自己教師ありによって幻視化された視認不能領域の学習をガイドできるか？
• RQ3 マルチフレーム時系列情報の統合が、視認不能領域における光学フロー推定精度を向上させられるか？
• RQ4 自己教師あり事前学習モデルが、合成事前学習データへの依存を減らし、教師あり微調整のための有効な初期化として機能できるか？
• RQ5 スーパーピクセルベースの視認不能幻視化は、他のノイズ注入戦略と比較して、性能と一般化能力において優れているか？

主な発見

• 提案手法は、Sintel finalベンチマークでEPE=4.26を達成し、提出されたすべての手法の中で新たな最先端の結果を記録した。
• KITTI 2012では、自己教師ありモデルがEPE=1.69を達成し、以前の最良の自己教師あり手法であるDDFlowと比較して28.1%の相対的改善を示した。
• KITTI 2015では、自己教師ありモデルがEPE=4.84を達成し、DDFlowと比較して15.3%の相対的改善を示した。
• 教師あり微調整後、KITTI 2012でFl-all=6.19%、KITTI 2015でFl-all=8.42%を達成し、すべての先行教師あり手法を上回った。
• アブレーションスタディにより、マルチフレーム入力と自己教師あり学習が、特に視認不能ピxlsにおいて顕著な性能向上をもたらすことが確認され、Sintel CleanではEPE-OCCが26.63から22.06に低下した。
• 自己教師あり事前学習により、限られたラベル付きデータでも、教師あり微調整における高速かつ安定した収束が実現された。