[論文レビュー] Dex-NeRF: Using a Neural Radiance Field to Grasp Transparent Objects

Jeffrey Ichnowski, Yahav Avigal+2 more|arXiv (Cornell University)|Oct 27, 2021

Robot Manipulation and Learning参考文献 36被引用数 61

ひとこと要約

Dex-NeRFは透明度対応の深度レンダリングと照明トリックを用いたNeRFベースのシーン再構成により、 Dex-Netが透明物体を信頼性高く把持できるようにし、ベースラインが失敗するYuMiロボットで高い物理的把持成功率を達成します。

ABSTRACT

The ability to grasp and manipulate transparent objects is a major challenge for robots. Existing depth cameras have difficulty detecting, localizing, and inferring the geometry of such objects. We propose using neural radiance fields (NeRF) to detect, localize, and infer the geometry of transparent objects with sufficient accuracy to find and grasp them securely. We leverage NeRF's view-independent learned density, place lights to increase specular reflections, and perform a transparency-aware depth-rendering that we feed into the Dex-Net grasp planner. We show how additional lights create specular reflections that improve the quality of the depth map, and test a setup for a robot workcell equipped with an array of cameras to perform transparent object manipulation. We also create synthetic and real datasets of transparent objects in real-world settings, including singulated objects, cluttered tables, and the top rack of a dishwasher. In each setting we show that NeRF and Dex-Net are able to reliably compute robust grasps on transparent objects, achieving 90% and 100% grasp success rates in physical experiments on an ABB YuMi, on objects where baseline methods fail.

研究の動機と目的

• 伝統的な深度 sensingが難しい透明物体のロボット操作を動機付ける。
• ネフロ（NeRF）を用いて透明物体の幾何を回復し、把持計画を支援するDex-NeRFを提案する。
• 透明物体の信頼性ある把持のためにNeRFの学習を改善する照明添加の効果を示す。
• NeRFベースの学習と評価のための透明物体を含む合成および実データセットを提供する。

提案手法

• カメラ内部パラメータ/外部パラメータが既知の多視点画像でNeRFを訓練し、シーンの密度と視点依存の色を回復する。
• 透明度対応アプローチを用いてNeRFから深度マップをレンダリングし、把持計画のためにDex-Netに供給する。
• 複数の光源を配置してスペキュラ反射を誘発し、NeRFによる幾何の可視性を高めることで物体の形状を明らかにする。
• NeRF由来の深度を評価するために固定された事前訓練済みDex-Net把持プランナーを用い、候補 graspを評価する。
• 訓練と評価のために透明物体と複数のカメラ姿勢を含む合成・実データセットを作成する。
• 現実世界の実験で深度レンダリング手法（Vanilla NeRF対透明度対応）と光の設定を比較する。

実験結果

リサーチクエスチョン

• RQ1 NeRFは信頼性のあるロボット把持のために透明物体の幾何を十分に学習できるか。
• RQ2 スペキュラ反射を誘発する照明を追加することでNeRFの透明物体の再構成が改善されるか。
• RQ3 透明度対応の深度レンダリングは透明物体に対するDex-Netの把持計画に必要か。
• RQ4 透明物体の合成・実画像データセットは把持のためのNeRF訓練をどうサポートするか。

主な発見

Object	PhoXi	Vanilla NeRF	Dex-NeRF
Tape Dispenser	0/10	0/10	10/10
Wineglass	0/10	0/10	9/10
Flask	0/10	1/10	9/10
Safety Glasses	0/10	0/10	10/10
Bottle	0/10	10/10	10/10
Lion Figurine	0/10	3/10	10/10

• Dex-NeRFは tested 透明物体に対して ABB YuMiで物理実験の把持成功率を90%から100%達成。
• Dex-NeRFは物理的把持テストでPhoXi-depthおよびVanilla NeRFベースラインを大幅に上回る（複数物体で10/10対0/10または9/10）。
• 透明度対応NeRFによる深度レンダリングはDex-Netが混在・単一の透明物体シーンでも信頼性の高い把持を生成可能にする。
• 5×5の照明アレイを用いると可観測なスペキュラ反射が増え、NeRFの幾何回復が単一光源より改善される。
• NeRF訓練の反復回数が把持成功率を改善し、合成の単離物体では約5万〜6万回の反復で停滞することがある。
• 頭上カメラのグリッドは把持計画の深度品質を高めるが、7×7を超えると利得は逓減する。