[論文レビュー] Deep Learning based Monocular Depth Prediction: Datasets, Methods and Applications

Qing Li, Jiasong Zhu+5 more|arXiv (Cornell University)|Nov 9, 2020

Advanced Vision and Imaging参考文献 177被引用数 7

ひとこと要約

本サーベイは、深層学習に基づく単眼深度推定に関する包括的なレビューを提供し、データセット、教師ありおよび教師なし学習手法、深度補完技術をカバーする。ネットワークアーキテクチャ、損失関数、幾何制約を分析し、スケールのあいまいさやリアルタイムデプロイメントといった主な課題を特定し、解釈可能性、軽量ネットワーク、ドメイン適応に関する今後の方向性を提示する。

ABSTRACT

Estimating depth from RGB images can facilitate many computer vision tasks, such as indoor localization, height estimation, and simultaneous localization and mapping (SLAM). Recently, monocular depth estimation has obtained great progress owing to the rapid development of deep learning techniques. They surpass traditional machine learning-based methods by a large margin in terms of accuracy and speed. Despite the rapid progress in this topic, there are lacking of a comprehensive review, which is needed to summarize the current progress and provide the future directions. In this survey, we first introduce the datasets for depth estimation, and then give a comprehensive introduction of the methods from three perspectives: supervised learning-based methods, unsupervised learning-based methods, and sparse samples guidance-based methods. In addition, downstream applications that benefit from the progress have also been illustrated. Finally, we point out the future directions and conclude the paper.

研究の動機と目的

• 教師あり、教師なし、スパースガイド付き手法を含む、深層学習に基づく単眼深度推定の最近の進展を体系的にレビューすること。
• 教師あり深度推定におけるネットワークアーキテクチャと損失関数の進化を分析すること。
• 特にスケールのあいまいさと隠蔽処理に関する点で、教師なし学習ベースのアプローチの性能と限界を評価すること。
• RGBとスパース深度入力を統合して精度を向上させる深度補完技術を検討すること。
• モデルの解釈可能性、組み込みデバイスにおけるリアルタイム推論、ドメイン一般化といった、未解決の課題と今後の研究方向性を特定すること。

提案手法

• 単眼深度推定手法を、主に教師あり学習、教師なし学習、スパースサンプルガイドの3つの主要なパラダイムに分類する。
• ネットワーク構造（例：Hourglass、GANs）と損失関数（例：L1、L2、エッジに配慮した損失）を分析することで、教師あり手法の深度マップ品質の向上をレビューする。
• ステレオまたは動画フレームを用いて、画像再構成とサイクル整合性に基づく教師なし手法を検討し、教師データが不要な深度予測を実現する。
• 注意メカニズムやグラフベースの統合を用いて、RGB画像とスパース深度入力を統合する深度補完技術を分析する。
• 幾何的および統計的制約（例：深度の一貫性、ぼかし効果）を正則化項として統合し、ネットワークの一般化性能を向上させる。
• アブレーションスタディおよびベンチマークデータセット間の比較を通じて、モデルの効率性とロバスト性を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる深層学習アーキテクチャと損失関数は、単眼深度推定の精度と一般化性能にどのように影響を与えるか？
• RQ2 教師なし学習ベースの単眼深度推定の主な限界は何か。特にスケールのあいまいさと隠蔽処理に関して。
• RQ3 幾何的および統計的事前知識（例：ぼかし効果、深度の一貫性）を、深層ネットワークに効果的に正則化項として統合する方法は何か？
• RQ4 組み込みまたはリアルタイムシステムに深層学習モデルをデプロイするにあたり、主な課題は何か？
• RQ5 多様なカメラタイプや環境を想定した実世界の展開において、ドメインシフトと過学習をどのように軽減できるか？

主な発見

• 教師あり深層学習手法は、従来の機械学習手法や非パラメトリック手法に比べ、精度と速度の両面で顕著に優れている。
• 教師なし手法はステレオまたは動画の一貫性を活用することで強力な性能を発揮するが、依然としてスケールのあいまいさや動的物体の検出に課題を抱えている。
• 深度の一貫性やぼかし効果といった幾何的制約を正則化項として統合することで、モデルのロバスト性と一般化性能が向上する。
• 現在の深層学習モデルは計算負荷が高く、組み込みデバイスには不適切であるため、軽量アーキテクチャの開発が急務である。
• ドメインシフトは依然として主要な課題である。特定のカメラやシーンタイプで訓練されたモデルは、未観測のカメラや環境ではしばしば失敗する。
• 解釈可能性の研究から、CNNはエッジや消失点といった幾何的特徴に注目していることが示され、ネットワークの注目メカニズムとシーン構造との強い関連性が示唆される。