[論文レビュー] 3dDepthNet: Point Cloud Guided Depth Completion Network for Sparse Depth and Single Color Image

Rui Xiang, Feng Zheng+2 more|arXiv (Cornell University)|Mar 20, 2020

3D Surveying and Cultural Heritage参考文献 50被引用数 8

ひとこと要約

3dDepthNetは、LiDAR補完ネットによって3次元点群を事前に補完し、その後、密集した3次元投影、疎な深度、RGB入力を統合する変更されたエンコーダ・デコーダ構造を用いて高精度で滑らかな密集深度予測を実現する、新規の3次元から2次元への粗いから細かい深度補完ネットワークを提案する。本手法は、スパarsityに対して優れた耐性を示し、KITTIベンチマークで最先端の性能を達成する。

ABSTRACT

In this paper, we propose an end-to-end deep learning network named 3dDepthNet, which produces an accurate dense depth image from a single pair of sparse LiDAR depth and color image for robotics and autonomous driving tasks. Based on the dimensional nature of depth images, our network offers a novel 3D-to-2D coarse-to-fine dual densification design that is both accurate and lightweight. Depth densification is first performed in 3D space via point cloud completion, followed by a specially designed encoder-decoder structure that utilizes the projected dense depth from 3D completion and the original RGB-D images to perform 2D image completion. Experiments on the KITTI dataset show our network achieves state-of-art accuracy while being more efficient. Ablation and generalization tests prove that each module in our network has positive influences on the final results, and furthermore, our network is resilient to even sparser depth.

研究の動機と目的

• ロボット工学および自動運転の分野において、疎なLiDARスキャンと単一カラー画像から、密集的で滑らかな深度画像を生成する課題に対処すること。
• 疎な深度データとRGBデータの間のモodal誤差および特徴の不一致を克服すること。
• 新規の3次元から2次元への密度化パイプラインを用いて、3次元幾何構造を活用することで、深度補完の精度と効率を向上させること。
• 極めて疎な深度入力に対しても耐性を高め、極度に疎なLiDARデータでも信頼性の高い性能を発揮できるようにすること。
• 幾何的に意味のある、学習可能な補完プロセスを提供し、深度の連続性と物体の境界を保持すること。

提案手法

• 本ネットワークは、2段階の3次元から2次元への粗いから細かい密度化パイプラインを採用する：まず3次元空間で点群を補完し、次に2次元画像空間で深度を精錬する。
• LiDAR補完ネットは、局所的な幾何構造とグローバルな文脈を用いて、疎なLiDAR点の幾何的に情報のあるパッチ処理と調整を実行し、密集した3次元点群を生成する。
• 深度補完ネットは、変更されたエンコーダ・デコーダアーキテクチャを用い、3次元補完からの投影された密集深度、元の疎な深度、RGB画像を、二重深度およびRGB-D入力チャネルを介して統合する。
• 本ネットワークは、深度予測のためのL1損失とスムーズL1損失を組み合わせたマルチタスク損失を用いて、エンド・トゥ・エンドで学習される。
• 空間的関係を保持し、補完における幾何的整合性を向上させるために、座標に基づく特徴符号化が組み込まれている。
• 単純な連結を避けることで、深度と色の間の単位およびスケールの一貫性を損なわず、モダリティ間の効果的な特徴統合が可能になる。

実験結果

リサーチクエスチョン

• RQ1 2次元ベースの手法と比較して、3次元点群補完は深度補完の精度と耐性を向上させることができるか？
• RQ2 直接的な2次元画像補完と比較して、3次元から2次元への粗いから細かい密度化パイプラインは、性能と効率の面でどのように異なるか？
• RQ3 本ネットワークは、1/256のサンプリングレートのような極めて疎な深度入力に対しても、どの程度一般化可能か？
• RQ4 幾何的に意味のある3次元補完を統合することで、境界の保持が向上し、最終的な深度マップにおけるアーティファクトが減少するか？
• RQ5 3次元から2次元への投影において、遠くの物体が近い物体を貫通する「貫通問題」に対し、提案されたネットワークはどのように対処するか？

主な発見

• 3dDepthNetは、KITTIバリデーションセットでRMSE 693.23、iRMSE 208.96を達成し、先行手法を上回る最先端の性能を発揮した。
• アブレーションスタディの結果、LiDAR補完ネットと深度補完ネットの両方が最終的な性能向上に寄与していることが確認され、フルモデルが最良の結果を示した。
• 本ネットワークは、1/16、1/64、1/256のサンプリングレートの疎な入力に対しても良好に一般化でき、極度のスパarsityに対しても耐性があることが示された。
• LiDAR補完ネットのパッチ処理および幾何的調整機構により、意味のある3次元補完が実現され、これにより2次元精錬の精度が向上した。
• 深度補完ネットは、投影された深度マップにおける貫通問題を効果的に緩和し、遠くの物体からの誤ったインライアを抑制する学習を可能にした。
• 本モデルは、パラメータ数742.28K、1枚あたりの推論時間2.52msという、前例となる最先端手法よりも効率的であることが判明した。