[論文レビュー] Learning by Analogy: Reliable Supervision from Transformations for Unsupervised Optical Flow Estimation

Liang Liu, Jiangning Zhang+8 more|arXiv (Cornell University)|Mar 29, 2020

Advanced Vision and Imaging参考文献 52被引用数 11

ひとこと要約

本論文は、変換された入力と元のデータの変換予測からの自己教師付き監視を用いることで、トレーニングの信頼性を向上させる、新しい非教師ありオプティカルフロー枠組みを提案する。標準の非教師ありパイプラインを、拡張データに対する追加のフォワードパスを組み込むことで変形することで、非教師あり手法の中で最先端の性能を達成し、教師あり手法と競合する結果を示した。パラメータ数が少なく、汎用性の高いデータセット間一般化性能も優れている。

ABSTRACT

Unsupervised learning of optical flow, which leverages the supervision from view synthesis, has emerged as a promising alternative to supervised methods. However, the objective of unsupervised learning is likely to be unreliable in challenging scenes. In this work, we present a framework to use more reliable supervision from transformations. It simply twists the general unsupervised learning pipeline by running another forward pass with transformed data from augmentation, along with using transformed predictions of original data as the self-supervision signal. Besides, we further introduce a lightweight network with multiple frames by a highly-shared flow decoder. Our method consistently gets a leap of performance on several benchmarks with the best accuracy among deep unsupervised methods. Also, our method achieves competitive results to recent fully supervised methods while with much fewer parameters.

研究の動機と目的

• オクルージョン、低照度、過露出などの困難な状況下で、光度損失の信頼性の低さを解消すること。
• 知識蒸留における非教師ありフローラーニングの限界（凍結された教師モデル、複数段階のトレーニングの複雑さ）を克服すること。
• 教師ありデータや複雑な正則化を必要とせず、データ拡張からの信頼性の高い監視信号を用いた単一ネットワークのトレーニングを可能にすること。
• 都市風景データセット（CityScapesなど）などのラベルなしリアルワールド動画データを用いてトレーニングすることで、ドメイン特化のファインチューニングなしに、データセット間での一般化性能を向上させること。
• 変換ベースの自己教師付き監視が、空間的変換やAutoAugmentポリシーを含む多様な拡張タイプに普遍的に適用可能であることを示すこと。

提案手法

• 元の画像に対して最初のフォワードパスを行いオプティカルフローを予測する一方で、変換済み（変換された）画像に対して2番目のフォワードパスを実行し、最初のパスの変換予測からの自己教師付き監視信号を生成する。
• 変換された入力に対する変換予測を信頼性の高い監視信号として用い、拡張データ上で標準的な非教師ありトレーニングで生じる信頼性の低い光度損失を回避する。
• 複数フレーム入力をサポートする軽量で高頻度に共有されたフローデコーダーを設計し、長時間のシーケンスにおいても効率的かつ正確な推定を実現する。
• オクルージョン、低照度、過露出、およびCPAB や AutoAugment などの複雑な空間的変換を含む多様なデータ拡張をトレーニングパイプラインに統合する。
• 教師-生徒蒸留や複数段階の最適化を必要とせず、一括でエンドツーエンドにネットワーク全体をトレーニングする。
• 空間的変換の前に座標補正（例：ランダムズーム）を適用し、無効なフローマップ座標を防ぎ、数値安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 光度一貫性が失敗する困難な状況下で、変換ベースの自己教師付き監視は非教師ありオプティカルフロー学習の信頼性を向上させることができるか？
• RQ2 凍結された教師モデルを必要とせず、複数段階の知識蒸留に代わる単一ネットワークフレームワークが、性能を維持または向上させることができるか？
• RQ3 オクルージョン、露出変化、空間的ワープなどを含む多様な拡張を統合することで、非教師ありオプティカルフロー推定における一般化性能と耐性が向上するか？
• RQ4 本フレームワークでトレーニングされた軽量で複数フレーム対応のフローネットワークは、大幅に少ないパラメータ数で教師ありモデルと同等の性能を達成できるか？
• RQ5 CityScapes などのラベルなしリアルワールドデータでトレーニングした場合、本手法は未観測データセットへもどれほど一般化できるか？

主な発見

• 本手法は、標準ベンチマーク上でのすべての深層非教師ありオプティカルフロー手法の中で、平均エンドポイント誤差（AEPE）が最も低く、従来の非教師ありモデルを上回った。
• Sintel データセットでは、クリーンバージョンで 3.50 AEPE、最終バージョンで 2.79 AEPE、全テストセットで 3.73 AEPE を達成し、以前の非教師あり手法を上回った。
• KITTI 2012 と KITTI 2015 では、それぞれ 3.06 と 9.04 AEPE を達成し、リアルワールドシーンにおいても優れた性能を示した。
• ラベルなしの CityScapes データセットでトレーニングした場合、KITTI 2012 で 5.10 AEPE、KITTI 2015 で 5.22 AEPE を達成し、合成データでトレーニングされた多くのモデルを上回った。
• 未知のデータセットに転送する際、教師あり PWC-Net よりも優れた一般化性能を示し、優れたドメイン適応能力を示した。
• AutoAugment および CPAB 変換との統合により、さらに精度が向上し、本フレームワークが複雑な拡張ポリシーと互換性があることを示した。