[論文レビュー] DF-Net: Unsupervised Joint Learning of Depth and Flow using Cross-Task Consistency

Yuliang Zou, Zelun Luo+1 more|arXiv (Cornell University)|Sep 5, 2018

Advanced Vision and Imaging参考文献 55被引用数 4

ひとこと要約

本稿では、予測された深度とカメラの運動を用いて剛体的な3次元シーンフローを再構築し、それを推定された光流と比較することで、教師なしのフレームワークであるDF-Netを提案する。この手法により、教師ありラベルが不要な未ラベル単眼動画を用いて、深度と光流ネットワークを同時に学習可能となる。この際、タスク間の幾何的整合性を強制することで、両タスクの性能向上を実現する。

ABSTRACT

We present an unsupervised learning framework for simultaneously training single-view depth prediction and optical flow estimation models using unlabeled video sequences. Existing unsupervised methods often exploit brightness constancy and spatial smoothness priors to train depth or flow models. In this paper, we propose to leverage geometric consistency as additional supervisory signals. Our core idea is that for rigid regions we can use the predicted scene depth and camera motion to synthesize 2D optical flow by backprojecting the induced 3D scene flow. The discrepancy between the rigid flow (from depth prediction and camera motion) and the estimated flow (from optical flow model) allows us to impose a cross-task consistency loss. While all the networks are jointly optimized during training, they can be applied independently at test time. Extensive experiments demonstrate that our depth and flow models compare favorably with state-of-the-art unsupervised methods.

研究の動機と目的

• ピクセル単位の教師ありアノテーションが高コストかつ希少である現実世界の設定において、深度と光流モデルを学習する課題に対処すること。
• 深度、カメラの運動、光流の幾何的関係を活用して、教師なし学習の性能を向上させること。
• 明度一定性と空間的滑らかさに依存する既存の教師なし手法の限界を克服すること。これらの手法は、特に運動境界でしばしば失敗する。
• 予測された光流と再構築された光流との整合性を強制する新しい一貫性損失を用いて、深度と光流ネットワークの共同学習を可能にすること。
• 共同学習により、教師あり手法と同等の性能を達成し、既存の教師なしベースラインを上回ることを実証すること。

提案手法

• 予測された光流と、予測された深度およびカメラの運動から再構築された光流との間で幾何的整合性を強制するタスク間一貫性損失を提案する。
• 予測された深度と推定されたカメラの運動を用いて、3次元シーンフローをバックプロジェクションし、再び2次元に投影することで合成光流を生成する。
• 標準的な教師なし損失（例：光度損失、滑らかさ損失）とタスク間一貫性損失を組み合わせたマルチタスク損失を用いて、深度と光流ネットワークを共同で学習する。
• 前向き・後向き一貫性を正則化子として適用することで、光流推定のロバスト性を向上させるが、本研究の核心的貢献はタスク間一貫性にあり、これに依存する。
• 5フレームのポーズ推定ネットワークを用いて、動画シーケンスからカメラの運動を推定し、これを利用して3次元シーンフローを再構築する。
• 教師あり深度や光流アノテーションが一切不要な状態で、未ラベル動画シーケンスのみを用いて、エンドツーエンドにわたる教師なし学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 深度、カメラの運動、光流の間の幾何的整合性は、教師なし共同学習の強力な監視信号として機能するか？
• RQ2 タスク間一貫性を用いた深度と光流ネットワークの共同学習は、個別学習や標準的な教師なし手法と比較して性能向上をもたらすか？
• RQ3 提案手法は、KITTやMake3Dといった実世界のデータセットに対して、教師ありデータでのファインチューニングなしに一般化可能か？
• RQ4 従来の教師なし損失（例：光度損失、滑らかさ損失）と比較して、タスク間一貫性損失はモデルのロバスト性と正確性をどのように向上させるか？
• RQ5 学習されたモデルは、限られたラベル付きデータでの下流タスクに効果的に事前学習として利用可能か？

主な発見

• 提案されたDF-Netは、KITTI 2012および2015の光流ベンチマークで、教師なし学習において最先端の性能を達成した。KITTI 2012ではEPEが3.54、KITTI 2015では8.98であり、既存の教師なし手法を上回った。
• KITTI 2012データセットにおいて、ファインチューニングなしでEPEが3.54を達成した。同じ評価プロトコル下で、FlowNet2-ft-kitti（EPE 1.28）という教師あり手法ですら、本手法を下回る結果となった。
• Make3Dデータセットにおいて、深度予測モデルは、ドメイン特化のファインチューニングなしに、多様なシーンに一般化可能な性能を示した。
• ポーズ推定ネットワークは、KITTIシーケンス09で平均移動誤差0.017 ± 0.007、シーケンス10で0.015 ± 0.009を達成し、最先端のビジュアルSLAM手法と比較して競争力のある性能を示した。
• アブレーションスタディの結果、タスク間一貫性損失を除去すると性能が著しく低下（KITTI 2012でEPEが3.54から4.70に上昇）し、この損失が中心的な役割を果たしていることが確認された。
• 本手法は良好な一般化性能を示した。KITTIの光流アノテーションでのファインチューニングなしでも、本手法は教師ありおよび教師なしベースラインと比較して、より鋭い物体の輪郭を生成した。これは定性的な比較で示された。