[논문 리뷰] Dex-NeRF: Using a Neural Radiance Field to Grasp Transparent Objects

Jeffrey Ichnowski, Yahav Avigal외 2명|arXiv (Cornell University)|2021. 10. 27.

Robot Manipulation and Learning참고 문헌 36인용 수 61

한 줄 요약

Dex-NeRF는 투명도 인식 깊이 렌더링과 조명 기법을 활용한 NeRF 기반의 장면 재구성을 통해 Dex-Net이 투명 물체를 신뢰성 있게 파지하도록 하며, baselines가 실패하는 YuMi 로봇에서 물리적 파지 성공률을 높게 달성한다.

ABSTRACT

The ability to grasp and manipulate transparent objects is a major challenge for robots. Existing depth cameras have difficulty detecting, localizing, and inferring the geometry of such objects. We propose using neural radiance fields (NeRF) to detect, localize, and infer the geometry of transparent objects with sufficient accuracy to find and grasp them securely. We leverage NeRF's view-independent learned density, place lights to increase specular reflections, and perform a transparency-aware depth-rendering that we feed into the Dex-Net grasp planner. We show how additional lights create specular reflections that improve the quality of the depth map, and test a setup for a robot workcell equipped with an array of cameras to perform transparent object manipulation. We also create synthetic and real datasets of transparent objects in real-world settings, including singulated objects, cluttered tables, and the top rack of a dishwasher. In each setting we show that NeRF and Dex-Net are able to reliably compute robust grasps on transparent objects, achieving 90% and 100% grasp success rates in physical experiments on an ABB YuMi, on objects where baseline methods fail.

연구 동기 및 목표

• 전통적 깊이 센싱에 도전하는 투명 물체의 로봇 조작을 고무한다.
• 그립 계획을 위해 NeRF를 통해 투명 물체의 기하를 회복하기 위한 Dex-NeRF를 제안한다.
• 신뢰할 수 있는 파지를 위한 투명 기하의 학습을 향상시키는 조명 추가가 NeRF 학습에 미치는 영향을 보여준다.
• NeRF 기반 학습 및 평가를 위한 투명 물체의 합성 및 실제 데이터 세트를 제공한다.

제안 방법

• 장면 밀도와 시점 의존 색상을 회복하기 위해 알려진 카메라 내부 파라미터/외부 파라미터를 가진 다중 시점 이미지에서 NeRF를 학습한다.
• 투명도 인식을 반영한 접근법으로 NeRF에서 깊이 맵을 렌더링하여 Dex-Net의 파지 계획에 활용한다.
• 다수의 조명을 배치하여 형상 기하를 드러내는 거울 반사를 유도함으로써 NeRF에 대한 물체 가시성을 높인다.
• NeRF 유도 깊이에서 얻은 후보 파지를 평가하기 위해 고정된 사전 학습된 Dex-Net 파지 플래너를 사용한다.
• 투명 물체와 다중 카메라 포즈를 포함하는 합성 및 실제 데이터 세트를 만들어 훈련 및 평가에 사용한다.
• 물리적 실험에서 깊이 렌더링 방법(Vanilla NeRF 대 투명도 인식) 및 조명 구성을 비교한다.

실험 결과

연구 질문

• RQ1 NeRF가 투명 물체의 기하를 신뢰할 수 있는 로봇 파지를 위해 충분히 학습할 수 있는가?
• RQ2 거울 반사를 유도하는 조명 추가가 NeRF의 투명 물체 재구성 개선에 기여하는가?
• RQ3 투명 물체에서 Dex-Net 파지 계획의 성공에 투명도 인식 깊이 렌더링이 필요한가?
• RQ4 투명 물체의 합성 및 실제 이미지 데이터 세트가 파지를 위한 NeRF 학습을 어떻게 지원하는가?

주요 결과

• Dex-NeRF는 ABB YuMi의 물리적 실험에서 테스트된 투명 물체에 대해 90%에서 100%의 파지 성공을 달성한다.
• Dex-NeRF는 물리적 파지 테스트에서 PhoXi-depth 및 Vanilla NeRF 기반선보다 현저히 우수하다(여러 개의 물체에 대해 10/10 대 0/10 또는 9/10).
• 투명도 인식 NeRF로부터의 깊이 렌더링은 Dex-Net이 복잡하게 얽히고 분리된 투명 물체 장면에서 신뢰할 수 있는 파지를 생성하게 한다.
• 5x5 조명 배열을 사용하는 것이 단일 조명보다 관찰 가능한 거울 반사를 증가시켜 NeRF의 기하 회복을 향상시킨다.
• NeRF 학습 반복이 증가함에 따라 파지 성공률이 상승하고 합성 단일 물체의 경우 약 5만~6만 반복에서 수렴할 수 있다.
• 머리 위 카메라 격자가 파지 계획을 위한 깊이 품질을 향상시키며 7x7 배열을 넘어서면 효과가 감소한다.