[論文レビュー] A Deeper Insight into the UnDEMoN: Unsupervised Deep Network for Depth and Ego-Motion Estimation

V. Madhu Babu, Anima Majumder+2 more|arXiv (Cornell University)|Aug 27, 2018

Advanced Vision and Imaging参考文献 3被引用数 6

ひとこと要約

本稿では、空間的および時間的再構成損失を組み合わせた新しい目的関数とチャボニエール正則化を用い、モノクローラル動画から密な深度マップと6-DoF自己運動を同時に推定する教師なし深層学習フレームワーク、UnDEMoNを提案する。本手法は粗いから細かい訓練戦略を用いず、統一された不確実性と自己運動のネットワークアーキテクチャによりスケールに敏感な深度と自己運動推定を実現し、KITTIデータセットで最先端の性能を達成した。

ABSTRACT

This paper presents an unsupervised deep learning framework called UnDEMoN for estimating dense depth map and 6-DoF camera pose information directly from monocular images. The proposed network is trained using unlabeled monocular stereo image pairs and is shown to provide superior performance in depth and ego-motion estimation compared to the existing state-of-the-art. These improvements are achieved by introducing a new objective function that aims to minimize spatial as well as temporal reconstruction losses simultaneously. These losses are defined using bi-linear sampling kernel and penalized using the Charbonnier penalty function. The objective function, thus created, provides robustness to image gradient noises thereby improving the overall estimation accuracy without resorting to any coarse to fine strategies which are currently prevalent in the literature. Another novelty lies in the fact that we combine a disparity-based depth estimation network with a pose estimation network to obtain absolute scale-aware 6 DOF Camera pose and superior depth map. The effectiveness of the proposed approach is demonstrated through performance comparison with the existing supervised and unsupervised methods on the KITTI driving dataset.

研究の動機と目的

• ラベル付きデータに依存しない教師なし深層学習フレームワークを構築すること。
• 訓練の粗いから細かい戦略に依存する既存手法の限界を克服すること。
• 微分可能な双線形サンプリングカーネルを用いて、空間的および時間的再構成損失を同時に最小化することで推定精度を向上させること。
• 統一されたアーキテクチャで不確実性ベースの深度と自己運動ネットワークを統合し、絶対スケールに敏感な6-DoFカメラ自己運動推定を可能にすること。
• 損失関数にチャボニエール正則化を導入することで、画像勾配ノイズに対するロバストネスを向上させること。

提案手法

• フレームワークは、モノクローラル画像ペアからの特徴抽出に共通のエンコーダ-デコーダアーキテクチャを用いる。
• 予測された深度と自己運動に基づいて画像をワープするため、双線形サンプリングカーネルを用いて空間的および時間的再構成損失を計算する。
• チャボニエール正則化を用いて損失関数を正則化し、勾配ノイズへの感受性を低減する。
• エンドツーエンドの教師なし訓練スキームを用いて、深度予測と6-DoFカメラ自己運動を同時に最適化する。
• 不確実性ベースの深度ネットワークと自己運動推定ネットワークを統合し、絶対スケールに敏感な深度と自己運動出力を得る。
• 粗いから細い精錬を避けるために、ロバストな損失正則化を伴う単一段階の微分可能な最適化プロセスに依存する。

実験結果

リサーチクエスチョン

• RQ1 単一段階の教師なし深層ネットワークは、優れた精度でモノクローラル動画から密な深度と6-DoF自己運動を同時に推定可能か？
• RQ2 空間的および時間的再構成損失を統合することで、個別の損失成分と比較して推定のロバストネスがどのように向上するか？
• RQ3 画像勾配ノイズの存在下で、チャボニエール正則化は性能をどの程度向上させるか？
• RQ4 教師付きの監視や粗いから細い精錬なしに、スケールに敏感な6-DoF自己運動推定を達成できるか？
• RQ5 KITTIのような標準ベンチマークにおいて、本手法は最先端の教師ありおよび教師なし手法と比較してどのように性能を発揮するか？

主な発見

• 提案されたUnDEMoNフレームワークは、教師なしモノクローラル深度および自己運動推定においてKITTIベンチマークで最先端の性能を達成した。
• チャボニエール正則化された目的関数を用いて空間的および時間的再構成損失を同時に最小化することで、既存の教師なし手法を上回った。
• 双線形サンプリングカーネルの使用により、微分可能な画像ワープが可能となり、深度および自己運動ネットワークのエンドツーエンド訓練に不可欠な要因となった。
• 粗いから細い訓練戦略に依存せず、複雑さと誤差の蓄積を低減した。
• 絶対スケールに敏感な6-DoF自己運動推定と深度推定を、教師なし設定で成功裏に統合した。
• KITTIデータセットにおける定量的評価結果から、先行する教師なし手法と比較して、深度推定および自己運動推定の両方で優れた精度を確認した。