[論文レビュー] Deep Depth Completion of a Single RGB-D Image

Yinda Zhang, Thomas Funkhouser|arXiv (Cornell University)|Mar 25, 2018

Advanced Vision and Imaging参考文献 64被引用数 21

ひとこと要約

本論文は、RGB入力から表面法線と隠蔽境界を予測した後、深度制約を用いたグローバル最適化により完全な深度を復元する2段階のディーブラーニング手法を提案する。この手法は、新規ベンチマークで最先端の性能（Rel: 0.089）を達成し、従来のインpainting手法やエンドツーエンド深度推定手法を大きく上回る。

ABSTRACT

The goal of our work is to complete the depth channel of an RGB-D image. Commodity-grade depth cameras often fail to sense depth for shiny, bright, transparent, and distant surfaces. To address this problem, we train a deep network that takes an RGB image as input and predicts dense surface normals and occlusion boundaries. Those predictions are then combined with raw depth observations provided by the RGB-D camera to solve for depths for all pixels, including those missing in the original observation. This method was chosen over others (e.g., inpainting depths directly) as the result of extensive experiments with a new depth completion benchmark dataset, where holes are filled in training data through the rendering of surface reconstructions created from multiview RGB-D scans. Experiments with different network inputs, depth representations, loss functions, optimization methods, inpainting methods, and deep depth estimation networks show that our proposed approach provides better depth completions than these alternatives.

研究の動機と目的

• 反射性・透明性・遠方の表面によるコンsumer用RGB-Dカメラの深度欠損問題に対処すること。
• 生の深度観測ではなく合成データからの学習により、深度センサーに一般化可能な手法を開発すること。
• 直接的な深度回帰ではなく、局所的な幾何的プライア（法線、境界）を活用することで、深度補完の精度を向上させること。
• 105,432枚のRGB-D画像と、学習および評価用の真値深度を備えた新規ベンチマークデータセットを構築すること。
• 色から表面法線を予測することで、直接回帰や従来のインpaintingよりも優れた深度補完が可能であることを示すこと。

提案手法

• RGB入力画像からのみ、表面法線と隠蔽境界を予測する深層畳み込みネットワークを学習する。
• RGB-Dセンサーからの観測深度値で正則化されたグローバル線形最適化を用いて、完全な深度マップを再構築する。
• 2段階フレームワークを採用：(1) 色からの局所的予測、(2) 深度制約を伴うグローバル最適化。
• 72の実世界環境のマルチビューRGB-Dスキャンから深度補完をレンダリングすることで、大規模なベンチマークデータセットを構築する。
• 観測済み深度値を保持しつつ、欠損領域を補完するため、最適化にソフト制約を適用する。
• 微分可能最適化レイヤーを用いることで、法線予測ネットワークのエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 色から表面法線を予測することで、直接的な深度回帰よりも深度補完の性能が向上するか？
• RQ2 法線を予測してから深度を最適化する2段階アプローチは、エンドツーエンド深度インpaintingよりも優れた結果をもたらすか？
• RQ3 表面再構築から得た合成データで学習したネットワークは、実世界のRGB-D深度補完に一般化可能か？
• RQ4 手動チューニングされたインpainting手法や最先端のディープラーニング深度推定ネットワークと比較して、本手法はどのように性能を発揮するか？
• RQ5 異なる損失関数、ネットワークアーキテクチャ、最適化戦略が、深度補完の精度に与える影響は何か？

主な発見

• 本手法はベンチマークデータセットで相対誤差（Rel）0.089を達成し、ベースラインインpainting手法（最良のベースライン：Rel 0.103）を顕著に上回った。
• 本手法はRMSEを0.116まで低下させたが、次に優れた手法（TGV）の0.146に比べ、より高い精度を示した。
• 真値深度の1.25倍以内の予測が76.74%に達した（1.25³）、これは最良のベースライン（81.71%）に比べ、大きな誤差に対して強い性能を示している。
• ディープラーニング深度推定手法と比較して、未観測ピクセルにおいて相対誤差を23–40%まで低減した。これは、優れた一般化性能を示している。
• 定量的比較（図8）では、本手法が共同バイリューションフィルタリングよりもシャープで正確な結果を生成した。
• ネットワークが法線を予測する能力は、異なる深度センサー間で一般化可能であり、新規センサー用に再訓練を必要としない。