[論文レビュー] Depth Completion from Sparse LiDAR Data with Depth-Normal Constraints

Yan Xu, Xinge Zhu+4 more|arXiv (Cornell University)|Oct 15, 2019

Advanced Vision and Imaging参考文献 13被引用数 16

ひとこと要約

本論文は、スパARSE LiDARデータからの深度補完のための統合型CNNフレームワークを提案する。深度、表面法線、信頼性マップを同時に予測し、深度-法線制約を活用する幾何学的注意を備えた拡散モジュールによって結果を精錬する。KITTIおよびNYU-Depth-V2で最先端の性能を達成し、ノイズに対して頑健であり、屋内・屋外の両環境にわたる一般化性能を示す。

ABSTRACT

Depth completion aims to recover dense depth maps from sparse depth measurements. It is of increasing importance for autonomous driving and draws increasing attention from the vision community. Most of existing methods directly train a network to learn a mapping from sparse depth inputs to dense depth maps, which has difficulties in utilizing the 3D geometric constraints and handling the practical sensor noises. In this paper, to regularize the depth completion and improve the robustness against noise, we propose a unified CNN framework that 1) models the geometric constraints between depth and surface normal in a diffusion module and 2) predicts the confidence of sparse LiDAR measurements to mitigate the impact of noise. Specifically, our encoder-decoder backbone predicts surface normals, coarse depth and confidence of LiDAR inputs simultaneously, which are subsequently inputted into our diffusion refinement module to obtain the final completion results. Extensive experiments on KITTI depth completion dataset and NYU-Depth-V2 dataset demonstrate that our method achieves state-of-the-art performance. Further ablation study and analysis give more insights into the proposed method and demonstrate the generalization capability and stability of our model.

研究の動機と目的

• 深度と表面法線の間の3次元幾何的制約を組み込むことで、深度補完の精度を向上させること。
• スパARSE LiDAR測定値におけるセンサーノイズに対して頑健性を高めること。
• 深度、法線、信頼性を同時に予測する統合的エンドツーエンド学習フレームワークを構築すること。
• 屋内・屋外を含む多様な環境にわたって安定的かつ一般化可能な深度補完を実現すること。
• ヒューリスティックな後処理を置き換え、微分可能で幾何学的注意を備えた精錬メカニズムを提供すること。

提案手法

• スパARSE深度入力を用いて、共通エンコーダとマルチデコーダアーキテクチャにより粗い深度、表面法線、信頼性マップを予測する。
• ピクセル間の高次元特徴類似度に基づいて伝導度をモデル化する、新規の非等方的拡散モジュールを導入する。
• ソースピクセルとターゲットピクセルの両方の特徴を用いて類似度を計算する非対称伝導度関数を採用する。
• 平面原点距離空間で拡散処理を適用し、各平面ごとに深度が局所的に定数であると仮定することで幾何的整合性を強制する。
• 信頼性マップを拡散処理における重み係数として組み込み、ノイズの多いLiDAR点からの誤差伝搬を抑制する。
• 深度、法線、信頼性の監視を統合したマルチタスク損失を用いて、ネットワーク全体をエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 深度と表面法線の間の幾何的制約は、深度補完性能を向上させることができるか？
• RQ2 スパARSE LiDAR測定値におけるノイズは、深度補完の段階で効果的に軽減可能か？
• RQ3 微分可能で拡散ベースの精錬モジュールは、従来の2次元ベースの精錬手法を上回る性能を発揮できるか？
• RQ4 提案手法は、屋内・屋外を含む多様な環境にわたって一般化性を示すか？
• RQ5 性能は信頼性予測のハイパーパrameterや精錬イテレーション回数に対してどれほど感度を示すか？

主な発見

• 提案手法はKITTI深度補完ベンチマークで最先端の性能を達成し、ResNet-50エンコーダを用いることでテストRMSEが0.112 mmにまで低下した。
• NYU-Depth-V2データセットでは、RMSEが0.112 mm、δ1.25の精度が99.5%に達し、先行するCNNベースおよび古典的手法を上回った。
• アブレーションスタディにより、信頼性予測が頑健性を顕著に向上させることを確認した。信頼性予測を除去すると性能が10%以上低下した。
• 非対称伝導度を備えた拡散モジュールは、対称型や他の類似度関数（例：ユークリッド距離、ドット積）を用いた手法を上回った。
• 入力のスパarsityレベルが異なる状況でも安定した性能を維持し、元のサンプリングレートの1/10でも妥当な結果を生成した。
• イテレーション回数を増やすことで精錬プロセスが安定化し、訓練段階の性能を上回る結果も得られた。