[論文レビュー] RGB-D Local Implicit Function for Depth Completion of Transparent Objects

Luyang Zhu, Arsalan Mousavian+5 more|arXiv (Cornell University)|Apr 1, 2021

Advanced Vision and Imaging参考文献 54被引用数 4

ひとこと要約

本論文は、レイボクセルペアに基づくローカルインクリメント深度関数（LIDF）を用いて、透過物体の高速で一般化可能な深度補完手法を提案する。リアルタイム推論と優れた精度を実現する。本手法は、学習可能な局所的インクリメント表現と反復的精錬を組み合わせ、合成および実世界のベンチマークにおいて最先端（SOTA）手法を上回り、ClearGraspよりも20倍高速な推論を達成する。

ABSTRACT

Majority of the perception methods in robotics require depth information provided by RGB-D cameras. However, standard 3D sensors fail to capture depth of transparent objects due to refraction and absorption of light. In this paper, we introduce a new approach for depth completion of transparent objects from a single RGB-D image. Key to our approach is a local implicit neural representation built on ray-voxel pairs that allows our method to generalize to unseen objects and achieve fast inference speed. Based on this representation, we present a novel framework that can complete missing depth given noisy RGB-D input. We further improve the depth estimation iteratively using a self-correcting refinement model. To train the whole pipeline, we build a large scale synthetic dataset with transparent objects. Experiments demonstrate that our method performs significantly better than the current state-of-the-art methods on both synthetic and real world data. In addition, our approach improves the inference speed by a factor of 20 compared to the previous best method, ClearGrasp. Code and dataset will be released at https://research.nvidia.com/publication/2021-03_RGB-D-Local-Implicit.

研究の動機と目的

• 光の屈折や吸収のため、標準的なRGB-Dセンサでは透過物体が見えないという点に起因する、透過物体の深度補完の課題に対処する。
• 接触エッジや物理的事前知識を必要とし、または推論速度が遅い既存手法の限界を克服する。
• 学習可能な局所的インクリメント表現を用いて、未観測の透過物体への一般化と実世界での展開を可能にする。
• 透過物体認識におけるシミュレーションから実世界へのギャップを埋めるために、スケーラブルな合成データセットを開発する。
• リアルタイムのロボットアプリケーションに適した、高精度で高速な深度補完を達成する。

提案手法

• カメラレイとその交差するボクセルを入力として深度を関数としてモデル化するローカルインクリメント深度関数（LIDF）を導入し、局所的かつ効率的な推論を可能にする。
• 位置符号化を用いて特徴表現を強化し、インクリメント関数内の微細な幾何的詳細を捉える。
• レイボクセルペアに対してargmaxプーリングを適用し、遠く離れたボクセルからのノイズを低減する。
• 各ボクセル内でのオフセットを学習し、NeRFで用いられるヒューリスティックな3次元点サンプリングに代わる、正確なレイの終端位置を予測する。
• RGB、入力深度、LIDF出力を用いて、反復的に深度予測を改善する自己補正型精錬モデルを統合する。
• NVIDIA Omniverseを用いて多様な物体タイプ、照明、視点を有する大規模な合成データセット「Omnivers Object」を生成し、その上でパイプライン全体を学習する。

Figure 1: Our method can predict the depth of unseen transparent objects from a noisy RGB-D image. We back-project the depth map into the point cloud and render it in a novel viewpoint to better visualize the 3D shape. Zoom in to see details.

実験結果

リサーチクエスチョン

• RQ1 レイボクセルペアに基づく局所的インクリメントニューラル表現は、未観測の透過物体の深度補完に一般化可能か？
• RQ2 ボクセル内オフセット予測による深度学習は、ヒューリスティックな3次元点サンプリングに比べ、精度と効率の両面で優れるか？
• RQ3 自己補正型精錬モジュールは、推論時に真値幾何形状を必要とせずに深度補完精度を向上させられるか？
• RQ4 大規模な合成データセットは、実世界の透過物体へのゼロショット一般化をどの程度向上させるか？
• RQ5 提案手法は、透過物体深度補完において最先端の精度を維持しながら、リアルタイム推論を達成できるか？

主な発見

• 本手法は、ClearGraspとOmnivers Objectの両データセットで学習した場合、未観測の実世界の透過物体においてテストRMSEが0.028に達し、いずれか一方のデータセットでの学習よりも優れた性能を示す。
• 本手法はClearGraspに比べて推論速度を20倍に向上させ、リアルタイム展開を可能にする。
• ボクセル特徴に対してargmaxレイプールを適用した場合、δ₁.₀₅の精度が65.17%に達し、重み付き和演算子（59.31%）を大きく上回る。
• 位置符号化により微細なディテールの捉えが向上し、符号化なしの場合に比べてδ₁.₀₅が12.3ポイント向上する。
• ボクセル内オフセットの学習により、RMSEが0.028に低下し、ヒューリスティック点サンプリング（RMSE 0.038）を上回る精度を達成する。
• Omnivers Objectデータセットのみで学習した場合、実世界の未観測透過物体への一般化性能が向上し、δ₁.₂₅が99.43%に達する。

Figure 2: Pipeline overview. Our method takes as input RGB-D images with missing depth for transparent objects, and predicts the full depth map. We first generate ray-voxel pairs by finding all occupied voxels intersected by a ray. Then we learn a local implicit function for each pair to estimate th