[論文レビュー] Conf-Net: Predicting Depth Completion Error-Map For High-Confidence Dense 3D Point-Cloud.

Hamid Hekmatian, Samir Al-Stouhi+1 more|arXiv (Cornell University)|Jul 23, 2019

Advanced Vision and Imaging被引用数 3

ひとこと要約

Conf-Netは、スパarsなLiDARデータからの高信頼性でほぼ密集した3次元点群を生成するためのエンドツーエンドのディープラーニング手法を提案する。誤差マップを用いて予測された点のうちたった0.3%を除去することで、RMSEを399にまで低減し、最先端手法比で60%低く、RGBガイド付き手法比で50%低くした。実世界の自動運転データにおいてリアルタイム性能を示した。

ABSTRACT

This work proposes a new method for depth completion of sparse LiDAR data using a convolutional neural network which learns to generate almost full 3D point-clouds with significantly lower root mean squared error (RMSE) over state-of-the-art methods. An almost dense high-confidence/low-variance point-cloud is more valuable for safety-critical applications specifically real-world autonomous driving than a dense point-cloud with high error rate and high variance. We examine the error of the standard depth completion methods and demonstrate that the error exhibits a long tail distribution which can be significantly reduced if a small portion of the generated depth points can be identified and removed. We add a purging step to our neural network and present a novel end-to-end algorithm that learns to predict a high-quality error-map of its prediction. Using our predicted error map, we demonstrate that by up-filling a LiDAR point cloud from 18,000 points to 285,000 points, versus 300,000 points for full depth, we can reduce the RMSE error from 1004 to 399. This error is approximately 60% less than the state-of-the-art and 50% less than the state-of-the-art with RGB guidance. We only need to remove 0.3% of the predicted points to get comparable results with the state-of-the-art which has RGB guidance. Our post-processing step takes the output of a standard encoder-decoder network, to generate high resolution 360 degrees dense point-cloud. In addition to analyzing our results on Kitti depth completion dataset, we demonstrate the real-world performance of our algorithm using data gathered with a Velodyne VLP-32C LiDAR mounted on our vehicle to verify the effectiveness and real-time performance of our algorithm for autonomous driving. Codes and demo videos are available at http://github.com/hekmak/Conf-net.

研究の動機と目的

• 安全上の重要な自動運転アプリケーションにおいて特に顕著な高誤差と高分散を示す密度の高い深度補完出力の問題に対処すること。
• 低信頼度の予測を特定・除去することで、深度補完誤差の長尾分布を低減すること。
• 深度補完と誤差マップ予測を同時に学習するエンドツーエンドの手法を開発し、信頼性を向上させること。
• RGBガイドなしでも、最小限の誤差で高信頼性でほぼ密集した3次元点群を生成すること。
• 実際のLiDARデータを用いた実世界の自動運転シナリオで、本手法を検証すること。

提案手法

• 独自の深度補完出力のための高解像度誤差マップを予測する新しいエンドツーエンドの畳み込みニューラルネットワークを訓練する。
• 誤差マップを用いて、信頼度が最も低い点のうちたった0.3%を特定・削除することで、全体のRMSEを顕著に低減する。
• 標準的なエンコーダ・デコーダネットワークを用いて深度予測を行い、その後に予測された誤差マップに従って点を後処理で除去するステップを実施する。
• 誤差マップは、低信頼度領域での高誤差をペナルティとする微分可能損失関数を用いて、深度補完ネットワークと同時にエンドツーエンドで学習される。
• 本手法はKITTI深度補完ベンチマークで評価され、Velodyne VLP-32C LiDARで収集した実世界データを用いて検証された。
• 最終出力は、最大285,000点を含む360度の密集した点群であり、高信頼性と低分散を達成している。

実験結果

リサーチクエスチョン

• RQ1 深度補完の過程で誤差マップを予測することで、スパースLiDARデータにおける全体のRMSEを顕著に低減できるか？
• RQ2 低信頼度の点のわずかな割合を除去することで、深度補完の正確性がどの程度向上するか？
• RQ3 本手法は、RGBガイド付きの最先端手法と比較して、どの程度優れているか？
• RQ4 本手法は、実世界の自動運転シナリオでリアルタイム性能と高い信頼性を達成できるか？
• RQ5 深度補完誤差の長尾分布は、ニューラルネットワークが学習可能な信頼度推定と相関しているか？

主な発見

• Conf-Netは、LiDAR点を18,000点から285,000点にアップサンプリングする際、RMSEを1004から399にまで低減し、最先端手法比で60%の改善を達成した。
• 本手法は、RGBガイド付きの最先端手法と同等の性能を達成しながら、予測点のうちたった0.3%を除去しており、高い効率性を示した。
• 誤差マップ予測により、高信頼性で低分散の深度補完が可能となり、安全上の重要なアプリケーションでは、密集したが誤差の多い出力よりも価値が高くなる。
• 本手法はリアルタイム性能を達成し、移動中の車両でVelodyne VLP-32C LiDARを用いて収集した実世界データで検証された。
• 本手法は、RGBガイドなしおよびRGBガイド付きの両方の最先端手法をRMSE低減と信頼性の面で上回った。
• 予測誤差マップに基づく除去ステップは、深度補完で一般的な長尾誤差分布を効果的に緩和した。