[論文レビュー] Conf-Net: Toward High-Confidence Dense 3D Point-Cloud with Error-Map Prediction

Hamid Hekmatian, Jingfu Jin+1 more|arXiv (Cornell University)|Jul 23, 2019

Advanced Vision and Imaging参考文献 29被引用数 9

ひとこと要約

Conf-Net は、スパースな LiDAR データから、密な深度マップとピクセル単位の誤差マップを同時に予測するエンド・ツー・エンドのディープラーニング手法を提案する。これにより、大幅に低減された RMSE を実現する高信頼性の準密な 3D ポイントクラウドが得られる。訓練中に誤差信号を直接学習することで、RGB ガイドランスなしで 399mm の RMSE を達成し、SOTA より 60% 低い。また、モノクローラ深度推定へも効果的に拡張可能である。

ABSTRACT

This work proposes a method for depth completion of sparse LiDAR data using a convolutional neural network which can be used to generate semi-dense depth maps and "almost" full 3D point-clouds with significantly lower root mean squared error (RMSE) over state-of-the-art methods. We add an "Error Prediction" unit to our network and present a novel and simple end-to-end method that learns to predict an error-map of depth regression task. An "almost" dense high-confidence/low-variance point-cloud is more valuable for safety-critical applications specifically real-world autonomous driving than a full point-cloud with high error rate and high error variance. Using our predicted error-map, we demonstrate that by up-filling a LiDAR point cloud from 18,000 points to 285,000 points, versus 300,000 points for full depth, we can reduce the RMSE error from 1004 to 399. This error is approximately 60% less than the state-of-the-art and 50% less than the state-of-the-art with RGB guidance (we did not use RGB guidance in our algorithm). In addition to analyzing our results on Kitti depth completion dataset, we also demonstrate the ability of our proposed method to extend to new tasks by deploying our "Error Prediction" unit to improve upon the state-of-the-art for monocular depth estimation. Codes and demo videos are available at http://github.com/hekmak/Conf-net.

研究の動機と目的

• 安全上の重要な自動運転アプリケーション向けに、スパース LiDAR データから高信頼性の密な 3D ポイントクラウドを生成すること。
• 特に RGB ガイドランスなしで、95% 以上の欠損を示す極端なスパarsity 条件下における深度補完の高ばらつきと不確実性に対処すること。
• ピクセル単位の誤差マップを学習可能な信号として直接予測することで、不確実性推定の向上と、信頼性ベースの深度予測のフィルタリングを可能にすること。
• 誤差予測モジュールが、モノクローラ深度推定などの他の回帰タスクへも一般化可能であることを示すこと。
• 既存のネットワークへの最小限のアーキテクチャ変更で実現可能な、不確実性を考慮した深度予測のプラグアンドプレイソリューションを提供すること。

提案手法

• U-Net に類似たエンコーダ・デコーダネットワークを用いたマルチタスク学習フレームワークを導入し、エンド・ツー・エンドで密な深度とピクセル単位の誤差マップを予測する。
• 訓練中に真値の深度誤差を直接監視信号として組み込む、新しい損失関数を採用することで、ネットワークが誤差推定を直接学習可能にする。
• 深度と誤差マップの損失をバランスさせるために、比率ベースの正規化技術を適用し、訓練の安定性と収束性を向上させる。
• 予測された誤差マップを用いて、低信頼度の深度予測をフィルタリングし、スパース入力から高信頼性の準密な 3D ポイントクラウドを生成する。
• 誤差予測ユニットをモノクローラ深度推定に拡張する際、手動で調整された損失重みの代わりに、提案された比率ベースの正規化を適用し、誤差マップ損失を追加する。
• 誤差マップを用いて信頼度の閾値を設定することで、ユーザーがポイントクラウドの密度と予測精度の間でトレードオフを実現可能にする。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、深度補完中に自身のピクセル単位の誤差マップを予測可能であり、不確実性推定が向上するか？
• RQ2 不確実性や信頼度の代理指標ではなく、実際の誤差信号から学習することで、より正確で信頼性の高い深度予測が得られるか？
• RQ3 予測された誤差マップを用いて、精度と信頼性の面で完全なポイントクラウド手法を上回る高信頼性の準密な 3D ポイントクラウドを生成可能か？
• RQ4 誤差予測モジュールは、アーキテクチャの大幅な見直しを伴わずに、モノクローラ深度推定などの他の深度回帰タスクへも効果的に転送可能か？
• RQ5 RMSE、MAE、信頼度ベースのフィルタリングの観点から、本手法は SOTA 手法と比較してどの程度の性能を示すか？

主な発見

• 18,000 点から 285,000 点にアップサンプリングする際、Conf-Net はスパース LiDAR のベースライン（RMSE 1004mm）から RMSE を 399mm まで低減し、RGB ガイドランスなしで SOTA より 60% 低い。
• Kitti 深度補完ベンチマークでは、RGB ガイドランスなしで 300mm の RMSE を達成し、前回の SOTA より 50% の精度向上を実現した。
• 200mm の誤差閾値を適用することで、ポイントクラウドの 93.52% を保持しながら RMSE を 468mm まで低減し、密度と精度の効果的なトレードオフを示した。
• 誤差マップ予測は、間接的な不確実性推定よりも正確で文脈的に意味のあるものであり、深度補完およびモノクローラ深度推定の両タスクで優れた性能を示した。
• NYU Depth データセットでは、Alhashim 他らのモノクローラ深度モデルに誤差予測ユニットを統合することで、100mm の閾値で 0.365 の RMSE を達成し、すべての先行手法を下回った。
• 本手法は非常にモジュラーである。既存のネットワークに誤差マップヘッドと損失関数を追加するには、損失関数の変更のみで可能であり、信頼度ベース手法とは異なり、完全な再実装を必要としない。