[論文レビュー] Advancing Self-supervised Monocular Depth Learning with Sparse LiDAR

Ziyue Feng, Longlong Jing+3 more|arXiv (Cornell University)|Sep 20, 2021

Advanced Vision and Imaging参考文献 57被引用数 15

ひとこと要約

本稿では、疎なLiDARと単眼画像特徴を統合することで、高密度な単眼深度推定を向上させる二段階の自己教師付きネットワーク、FusionDepthを提案する。疎なLiDARのための擬似密度表現とリアルタイムなRefineNetを導入することで、従来の疎なLiDAR手法と比較してKITTI上で単眼3Dオブジェクト検出性能を68%以上向上させ、最先端の性能を達成した。

ABSTRACT

Self-supervised monocular depth prediction provides a cost-effective solution to obtain the 3D location of each pixel. However, the existing approaches usually lead to unsatisfactory accuracy, which is critical for autonomous robots. In this paper, we propose FusionDepth, a novel two-stage network to advance the self-supervised monocular dense depth learning by leveraging low-cost sparse (e.g. 4-beam) LiDAR. Unlike the existing methods that use sparse LiDAR mainly in a manner of time-consuming iterative post-processing, our model fuses monocular image features and sparse LiDAR features to predict initial depth maps. Then, an efficient feed-forward refine network is further designed to correct the errors in these initial depth maps in pseudo-3D space with real-time performance. Extensive experiments show that our proposed model significantly outperforms all the state-of-the-art self-supervised methods, as well as the sparse-LiDAR-based methods on both self-supervised monocular depth prediction and completion tasks. With the accurate dense depth prediction, our model outperforms the state-of-the-art sparse-LiDAR-based method (Pseudo-LiDAR++) by more than 68% for the downstream task monocular 3D object detection on the KITTI Leaderboard. Code is available at https://github.com/AutoAILab/FusionDepth

研究の動機と目的

• 動的で遮蔽が生じるシーンにおける自己教師付き単眼深度推定の精度が低い問題に対処すること。
• 低コストな疎なLiDAR（例：4ビーム）を、遅い後処理に依存せずに幾何的事前知識として活用すること。
• 高品質な深度推定を用いて、単眼3Dオブジェクト検出のような下流の3D認識タスクを改善すること。
• 擬似3次元空間で深度誤差を幾何学的に意味のある方法で補正する、効率的でリアルタイムな精錬ネットワークを設計すること。
• 深度推定の品質と下流の3D認識性能の間の強い関連性を確立すること。

提案手法

• 本手法は二段階のフレームワークを採用する：まず、単眼画像特徴と疎なLiDAR点の擬似密度表現を統合する特徴統合ネットワークにより、初期深度マップを生成する。
• 有効な特徴統合を可能にするために、疎なLiDAR点をより密度の高い、ネットワークにやさしい形式に変換する新しい擬似密度表現（PDR）を導入する。
• 3次元空間で高次の深度誤差を補正するための効率的で順方向のRefineNetを訓練し、139 FPSのリアルタイム推論を達成する。
• 光度的一致性損失と自己移動推定を用いた自己教師付き目的関数により、エンドツーエンドでモデルを訓練する。
• フレームワークは深度推定および深度補完タスクの両方で評価され、予測された深度は単眼3Dオブジェクト検出のための擬似LiDAR点を生成するために使用される。
• RefineNetは擬似3次元空間で動作するため、2次元画像空間を超えた幾何学的に意味のある誤差補正が可能である。

実験結果

リサーチクエスチョン

• RQ1 特徴学習段階で疎なLiDARと単眼画像を効果的に統合することで、深度推定の精度を向上させることができるか？
• RQ2 初期推定とその後の精錬という二段階アプローチは、エンドツーエンドの自己教師付き手法よりも優れた深度品質をもたらすか？
• RQ3 反復的で遅い後処理手法（例：GDC）と比較して、リアルタイムで順方向に動作する精錬ネットワークは、深度補完性能を上回れるか？
• RQ4 向上した深度推定は、下流の3Dオブジェクト検出性能にどの程度寄与するか？
• RQ5 低レベルタスクおよび高レベルタスクの両方において、本手法は最先端の自己教師付きおよび疎なLiDARベースの手法と比較してどのように差をつけるか？

主な発見

• FusionDepthはKITTIの単眼深度推定ベンチマークで最先端の性能を達成し、既存の自己教師付き手法を顕著に上回った。
• 提案された擬似密度表現を用いることで、疎なLiDARと画像特徴の有効な統合により、深度補完の精度が向上した。
• RefineNetは全セマンティックカテゴリにわたり深度誤差を低減し、特に車両や歩行者といった移動物体で最も顕著な改善が得られた。
• KITTI 3Dオブジェクト検出ベンチマークでは、Pseudo-LiDAR++と比較して、車両カテゴリのAP@0.7が68.9%向上した。
• 精錬済みの深度マップは、真値およびベースラインモデルとの定性的比較でも顕著に優れた検出結果を示した。
• RefineNetは139 FPSのリアルタイム推論を達成し、GDCベースの手法と異なり、自律ロボットアプリケーションに適している。