[論文レビュー] Guided Optical Flow Learning

Yi Zhu, Zhenzhong Lan+2 more|arXiv (Cornell University)|Feb 8, 2017

Advanced Vision and Imaging参考文献 23被引用数 33

ひとこと要約

本論文は、古典的手法（例：FlowFields）によるプロキシの真値を用いて教師ありCNN学習をガイドし、その後画像再構成損失を用いた教師なし微調整を行う、新規な教師なし光流学習フレームワークを提案する。このアプローチは、実世界の真値が訓練中に利用不可であるにもかかわらず、標準ベンチマーク（Chairs, Sintel, KITTI）で最先端または競争力のある性能を達成し、リアルタイム推論を実現しており、既存の教師なし手法を上回り、真値に近い精度にまで迫っている。

ABSTRACT

We study the unsupervised learning of CNNs for optical flow estimation using proxy ground truth data. Supervised CNNs, due to their immense learning capacity, have shown superior performance on a range of computer vision problems including optical flow prediction. They however require the ground truth flow which is usually not accessible except on limited synthetic data. Without the guidance of ground truth optical flow, unsupervised CNNs often perform worse as they are naturally ill-conditioned. We therefore propose a novel framework in which proxy ground truth data generated from classical approaches is used to guide the CNN learning. The models are further refined in an unsupervised fashion using an image reconstruction loss. Our guided learning approach is competitive with or superior to state-of-the-art approaches on three standard benchmark datasets yet is completely unsupervised and can run in real time.

研究の動機と目的

• 光流学習のためのアクセス可能な実世界真値の欠如が、教師ありCNNのスケーラビリティと一般化性能を制限するという問題に対処すること。
• 教師なしCNNの光流推定性能を向上させること。これは、不適切な条件と監視の欠如のため、通常は教師あり手法に比べて性能が劣るためである。
• 古典的手法による光流推定器から得られるプロキシ真値が、深層学習による運動推定を効果的にガイドできるかどうかを検討すること。
• 教師なし画像再構成損失が、プロキシガイド付き事前学習の後にさらなる精度向上をもたらすかどうかを評価すること。
• 完全に教師なしで、多様なデータセットに一般化可能なリアルタイム光流推定フレームワークを構築すること。

提案手法

• 本手法は、画像ペアからFlowFields（最先端の古典的手法）を用いて、教師あり事前学習のためのプロキシ真値光流場を生成する。
• 予測光流とプロキシ真値との間のエンドポイント誤差（EPE）損失を用いて、CNN（FlowNetSアーキテクチャ）を教師ありで訓練する。
• 事前学習済みモデルを、予測光流を用いて元画像を逆ワープする画像再構成損失に基づいて、教師なしで微調整する。
• 再構成損失は、ワープされた元画像とターゲット画像とのL1またはL2差分として計算され、正確な光流推定を促進する。
• パイプライン全体は教師なしである：訓練中に実際の真値は一切使用せず、画像ペアと古典的手法からのプロキシ光流のみを用いる。
• フレームワークは、実行時間とEPEを主な指標として、Chairs, Sintel, KITTIベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 古典的手法による光流推定器から得られるプロキシ真値が、光流推定のための深層CNNの学習を効果的にガイドできるか？
• RQ2 プロキシ真値で事前学習することで、実際の合成真値で学習する場合と比較して一般化性能が向上するか？
• RQ3 プロキシガイド付き事前学習の後に、教師なし画像再構成損失がさらなる精度向上をもたらすか？
• RQ4 提案手法のガイド付き教師なし手法は、最先端の教師ありおよび教師なし光流ネットワークと比較して、精度と速度の面でどの程度の性能を示すか？
• RQ5 本フレームワークは、実際の真値にアクセスできない状況でも、リアルタイム性能を維持しながら高精度を達成できるか？

主な発見

• Chairsベンチマークでは平均EPEが3.01を達成しており、これは教師ありFlowNetS（2.71）よりわずか0.30高いにとどまり、実際の真値が利用不可であるにもかかわらず強力な性能を示している。
• SintelベンチマークではEPEが7.96を達成し、他のすべての教師なし手法を上回り、教師ありモデルを含む最良の結果の一つに位置づけられる。
• KITTIではEPEが9.5を達成しており、最先端のアプローチと同等の性能を示しているが、レイヤーベースのPCA-Flow手法（6.2）にはわずかに劣る。
• 教師なし微調整により、全データセットで平均EPEが0.33低下した：Chairsでは3.34から3.01に、Sintelでは8.05から7.96に、KITTIでは9.7から9.5に低下。
• GPU上では1フレームあたり0.06秒で実行され、他の最先端のCNNベース手法と同等のリアルタイム性能を達成している。
• EPEと再構成損失を同時に学習させたジョイントトレーニングは、段階的な事前学習と微調整に比べて性能が悪く、プロキシガイド付き事前学習が教師なし精錬のためのより良い初期化を提供していることが示された。