[論文レビュー] Dense Depth Posterior (DDP) from Single Image and Sparse Range

Yanchao Yang, Alex Wong+1 more|arXiv (Cornell University)|Jan 28, 2019

Advanced Vision and Imaging参考文献 40被引用数 11

ひとこと要約

本稿では、単一のRGB画像とスパースなLiDAR点群から、密度のある深度マップの完全な事後分布を推定するための深層学習フレームワーク、Dense Depth Posterior (DDP) を提案する。条件付き事前分布ネットワーク（CPN）とスパース測定値の尤度モデルを組み合わせることで、KITTIおよびNYUv2ベンチマークにおいて、教師ありおよび教師なしの深度補完の両方で最先端の性能を達成し、特にスパースな深度密度が低い状況でも精度と耐障害性に優れる。

ABSTRACT

We present a deep learning system to infer the posterior distribution of a dense depth map associated with an image, by exploiting sparse range measurements, for instance from a lidar. While the lidar may provide a depth value for a small percentage of the pixels, we exploit regularities reflected in the training set to complete the map so as to have a probability over depth for each pixel in the image. We exploit a Conditional Prior Network, that allows associating a probability to each depth value given an image, and combine it with a likelihood term that uses the sparse measurements. Optionally we can also exploit the availability of stereo during training, but in any case only require a single image and a sparse point cloud at run-time. We test our approach on both unsupervised and supervised depth completion using the KITTI benchmark, and improve the state-of-the-art in both.

研究の動機と目的

• 点推定に依存するのではなく、完全な事後分布を推定することで、不確実性を考慮した深度補完を可能にすること。
• 大規模な画像-深度ペアデータセットから得られるシーンの正則性を事前分布として活用することで、深度補完の精度を向上させること。
• ステレオや追加センサーを必要とせず、推論時に単一の画像とスパースな深度測定値のみを用いて、堅牢な深度補完を実現すること。
• 学習された事前分布によりシーンのトポロジーと深度の不連続性をモデル化することで、アーチファクトを低減し、幾何学的整合性を向上させること。
• 教師ありおよび教師なしの両方の深度補完設定で、最先端の性能を達成すること。

提案手法

• 本手法は、条件付き事前分布ネットワーク（CPN）を用いて、$ P(d|I, \mathcal{D}) $ をモデル化する。ここで、$ d $ は密度のある深度マップ、$ I $ は入力画像、$ \mathcal{D} $ は画像-深度ペアの学習データセットである。
• CPNの事前分布と、$ P(z|d) $ という尤度項を組み合わせることで、完全な事後分布 $ P(d|I,z) \propto P(z|d)P_{\mathcal{D}}(d|I) $ を計算する。
• 尤度項は、光度的一致性（SSIMを介して）と深度的一致性を組み合わせており、歪み可能な損失関数を用いて、ワープされた画像の整合性を保ちつつ、深度の不一致をペナルティ化する。
• ネットワークアーキテクチャは、RGB画像を処理するブランチと、スパースな深度マップを処理するブランチの特徴を融合し、後段の層で統合することで、密度のある深度予測を生成する。
• 本手法は、光度的損失、滑らかさ損失、深度的一致性項を含む、教師ありおよび教師なしの損失の組み合わせを用いて、エンドツーエンドで訓練される。
• 訓練段階ではステレオデータをオプションで活用可能だが、推論時には単一の画像とスパースな深度測定値のみを必要とし、実世界への実装に実用的である。

実験結果

リサーチクエスチョン

• RQ1 単一の画像とスパースなLiDAR測定値から、点推定に代えて完全な事後分布を推定できるか？
• RQ2 大規模な画像-深度ペアデータセットから学習されたシーンの正則性は、深度補完の精度を向上させるとともに、アーチファクトを低減するのにどの程度寄与するか？
• RQ3 提案手法は、教師ありおよび教師なしの両方の深度補完設定において、既存の最先端手法をどの程度上回るか？
• RQ4 スパースな深度密度が低下するに従って性能がどのように低下するか、また極めて低い密度でもモデルが耐障害性を維持できるか？
• RQ5 条件付き事前分布ネットワークの使用は、単に画像または深度特徴に依存する手法と比較して、深度補完の性能を顕著に向上させるか？

主な発見

• KITTIベンチマークでは、1.5％のスパースな深度密度で、テスト時のRMSEが0.521、AbsRelが0.122に達し、教師ありおよび教師なしの両設定で先行手法を上回った。
• NYUv2データセットでは、6％のスパースな深度密度で、RMSEが1.391、AbsRelが0.452に達し、入力密度が低い状況でも強力な性能を示した。
• アブレーションスタディの結果、CPNを事前分布として使用することで性能が顕著に向上し、モノクロナリック設定でiRMSEが4.07から3.67に低下し、ベースライン手法[20]を上回った。
• 画像トポロジーと深度の不連続性を尊重するより洗練されたシーン事前分布を活用することで、従来手法で一般的な「O」字型の穴のような幾何学的アーチファクトを低減した。
• 2つの融合ブランチを有するにもかかわらず、モデルは約18.8Mパラメータで構成されており、最先端手法[20]の約27.8Mパラメータよりも顕著に少ないため、高いパラメータ効率を示した。
• 極めて低いスパースな深度密度（例：0.01％）でも、RMSEがNYUv2で3.829に保たれ、入力がスパースであっても耐障害性を維持していることが示された。