[論文レビュー] Learning Depth from Monocular Videos Using Synthetic Data: A Temporally-Consistent Domain Adaptation Approach

Yipeng Mou, Mingming Gong+4 more|arXiv (Cornell University)|Jul 16, 2019

Advanced Vision and Imaging参考文献 52被引用数 5

ひとこと要約

本論文は、真実の深度、光流、カメラポーズを備えた合成動画を活用して、実際の動画における単眼深度推定を向上させる、時間的整合性のあるドメイン適応（TCDA）フレームワークを提案する。合成データを用いて画像変換、深度予測、動きマスク、カメラポーズネットワークを共同で訓練し、時間的整合性を強制することで、KITTIで最先端の性能を達成するとともに、Make3Dへの一般化も可能にし、動的な物体やドメインシフトに起因する誤差を顕著に低減する。

ABSTRACT

Majority of state-of-the-art monocular depth estimation methods are supervised learning approaches. The success of such approaches heavily depends on the high-quality depth labels which are expensive to obtain. Some recent methods try to learn depth networks by leveraging unsupervised cues from monocular videos which are easier to acquire but less reliable. In this paper, we propose to resolve this dilemma by transferring knowledge from synthetic videos with easily obtainable ground-truth depth labels. Due to the stylish difference between synthetic and real images, we propose a temporally-consistent domain adaptation (TCDA) approach that simultaneously explores labels in the synthetic domain and temporal constraints in the videos to improve style transfer and depth prediction. Furthermore, we make use of the ground-truth optical flow and pose information in the synthetic data to learn moving mask and pose prediction networks. The learned moving masks can filter out moving regions that produces erroneous temporal constraints and the estimated poses provide better initializations for estimating temporal constraints. Experimental results demonstrate the effectiveness of our method and comparable performance against state-of-the-art.

研究の動機と目的

• 単眼動画深度推定のための現実世界の深度アノテーションを収集するコストの高さに対処すること。
• 動き物体や非剛性シーンに対して困難を抱える教師なし手法の限界を克服すること。
• 時間的幾何制約を組み込むことで、合成画像と実画像間のドメイン適応を改善すること。
• 合成データを深度監視のためだけでなく、動きマスクとカメラポーズの学習に活用し、現実世界への一般化を向上させること。
• 画像変換におけるドメインシフトと構造的歪みを低減するとともに、深度精度を保持すること。

提案手法

• GANベースの画像変換ネットワークを用いて、合成動画を実像に変換するドメイン適応フレームワーク。
• 画像変換、深度予測、動きマスク予測、相対カメラポーズ推定の3つのタスク固有のヘッドを備えた共有エンコーダ・デコーダアーキテクチャ。
• 動きマスク予測ネットワークは、合成データからの真値の光流とカメラポーズを用いて、動的領域を特定・マスクする。
• 合成領域および実領域の両方で時間的整合性損失を適用し、動画フレーム間の光度的一致性を強制する。
• カメラポーズ推定ネットワークは、真値ポーズを用いて合成データで事前学習し、実動画における時間的モデリングのための正確な初期化を提供する。
• GAN損失、アイデンティティ損失、深度監視、時間的整合性を含むマルチタスク損失を用いて、画像変換、深度予測、時間的整合性をエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 完全に監視された（深度、光流、ポーズを備えた）合成動画は、現実世界の動画における単眼深度推定を効果的に向上させることができるか？
• RQ2 時間的幾何的整合性を組み込むことで、ドメイン適応の品質と深度予測精度はどのように向上するか？
• RQ3 合成データからの動き物体検出は、実動画における光度的一致性に及ぼす動きの影響を軽減できるか？
• RQ4 合成データで事前学習したカメラポーズネットワークは、実単眼動画における時間的モデリングをどの程度向上させるか？
• RQ5 提案されたTCDAフレームワークは、標準的なドメイン適応法および教師なしベースラインと比較して、現実世界のベンチマークでどのように性能を発揮するか？

主な発見

• 提案されたTCDA手法はKITTIベンチマークで最先端の性能を達成し、既存の教師なしおよびドメイン適応手法を上回る。
• アブレーションスタディにより、時間的整合性損失（L_STC）とドメイン適応（UDA）の両方が性能向上に顕著に寄与することが確認され、併用することでさらなる向上が得られる。
• 動きマスク予測ネットワークにより、動的物体に起因する誤差が低減され、動的領域における光度損失をマスクした際の性能向上が示された。
• 合成データで事前学習したカメラポーズネットワークは、より良い初期化を提供し、実動画におけるより正確な時間的制約を実現した。
• 本手法はMake3Dデータセットに対しても良好な一般化性能を示し、KITTI領域を超えた堅牢性を確認した。
• 失敗事例から、vKITTIデータセットに存在しない歩行者を検出できないという限界が明らかとなり、より多様な合成データの必要性が示された。