[논문 리뷰] Synergies Between Affordance and Geometry: 6-DoF Grasp Detection via Implicit Representations

Zhenyu Jiang, Yifeng Zhu외 3명|arXiv (Cornell University)|2021. 04. 04.

Robot Manipulation and Learning참고 문헌 56인용 수 6

한 줄 요약

이 논문은 음성 신경 표현을 사용하여 6-자유도 그립 탐지와 3차원 재구성을 동시에 학습하는 통합 딥러닝 프레임워크인 GIGA를 제안한다. 절단된 부호 거리 함수(TSDF) 볼륨 격자로부터 유도된 공유 가능한 미분 가능한 특징을 활용함으로써, 그립 가능성과 기하학적 구조 간의 상호보완성을 활용하여, 시뮬레이션 및 실제 환경의 혼잡한 장면 정리 작업 모두에서 기준 모델 대비 10% 이상의 그립 성공률 향상을 달성한다.

ABSTRACT

Grasp detection in clutter requires the robot to reason about the 3D scene from incomplete and noisy perception. In this work, we draw insight that 3D reconstruction and grasp learning are two intimately connected tasks, both of which require a fine-grained understanding of local geometry details. We thus propose to utilize the synergies between grasp affordance and 3D reconstruction through multi-task learning of a shared representation. Our model takes advantage of deep implicit functions, a continuous and memory-efficient representation, to enable differentiable training of both tasks. We train the model on self-supervised grasp trials data in simulation. Evaluation is conducted on a clutter removal task, where the robot clears cluttered objects by grasping them one at a time. The experimental results in simulation and on the real robot have demonstrated that the use of implicit neural representations and joint learning of grasp affordance and 3D reconstruction have led to state-of-the-art grasping results. Our method outperforms baselines by over 10% in terms of grasp success rate. Additional results and videos can be found at https://sites.google.com/view/rpl-giga2021

연구 동기 및 목표

• 현장에서의 깊이 센서만을 사용하여 부분적으로 관찰되는 3차원 장면에서 강건한 6-자유도 그립 탐지를 해결하는 것.
• 3차원 재구성과 그립 가능성 학습 간의 상호보완적 관계를 활용하여 일반화 능력과 성능을 향상시키는 것.
• 다중 작업 학습을 가능하게 하는 연속적이고 미분 가능한 암시적 표현을 개발하는 것.
• 공동 감독를 통해 그립 가능한 영역에 대해 표현 능력을 동적으로 할당함으로써, 가림된 영역에서의 그립 성공률를 향상시키는 것.
• 시뮬레이션과 실제 로봇 환경에서의 실제 혼잡한 장면 정리 작업을 통해 방법의 유효성을 검증하는 것.

제안 방법

• 모델은 입력 깊이 영상에서 유도된 절단된 부호 거리 함수(TSDF) 볼륨 격자를 구조화된 특징 입력으로 사용한다.
• 딥 뉴럴 네트워크는 학습된 암시적 함수를 통해 국소 3차원 좌표를 연속적이고 미분 가능한 특징으로 인코딩한다.
• 이 특징들은 쿼리 포인트에서 그립 가능성(그립 품질, 방향, 너비)과 이진 점유도(3차원 기하학)를 예측하는 데 사용된다.
• 모델은 다중 작업 감독 하에 엔드 투 엔드로 훈련되며, 시뮬레이션에서의 자기 감독 그립 시도와 재구성에 대한 진짜 기하학적 정보를 활용한다.
• 공유된 구조화된 특징 격자는 모델이 높은 그립 가능성을 가진 영역에 계산 자원을 적응적으로 할당할 수 있도록 한다.
• 이 프레임워크는 두 작업의 미분 가능한 훈련을 가능하게 하여 공유 표현의 기울기 기반 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 혼잡하고 부분적으로 관찰되는 장면에서 그립 가능성과 3차원 재구성의 공동 학습이 6-자유도 그립 탐지 성능을 향상시킬 수 있는가?
• RQ2 3차원 재구성에서의 감독이 가림되거나 시야가 제한된 영역에서의 그립 예측 성능을 어떻게 향상시키는가?
• RQ3 그립 감독은 그립 가능한 영역(예: 가장자리, 손잡이 등)에서의 3차원 재구성 품질을 향상시킬 수 있는가?
• RQ4 암시적 신경 표현은 부분 관찰 조건에서 실제 그립 작업의 일반화 능력과 강건성을 향상시키는 데 얼마나 기여하는가?
• RQ5 행동에 관련된 영역에 표현 능력을 동적으로 할당하는 것이 측정 가능한 성능 향상으로 이어지는가?

주요 결과

• 실제 환경 실험에서 GIGA는 Pile 벤치마크에서 86.9%의 그립 성공률(GSR)과 Packed 벤치마크에서 83.3%의 성공률를 기록하여, VGN 기준 모델 대비 10% 이상 높은 성능을 보였다.
• 모델은 부분적으로 가려진 물체에서 뛰어난 성능을 보였으며, 기준 모델이 놓쳤던 가장자리나 손잡이 같은 그립 가능한 부분을 성공적으로 탐지했다.
• 그립 가능한 영역에서 재구성 품질이 향상되었으며, GIGA-Geo가 무시하거나 부정확하게 표현한 컵의 손잡이를 GIGA는 더 완전하게 재구성했다.
• 절단 실험 결과, GIGA-Geo(Geo-only)는 더 정확한 전반적 재구성을 보였지만, GIGA(Joint)는 그립 가능한 부분을 더 잘 유지하여, 그립 감독이 행동 관련 기하학적 특징 학습을 유도한다는 것을 시사했다.
• GIGA의 IoU-Grasp와 IoU 간 성능 격차는 모든 방법 중 가장 커, 그립 감독이 고가용성 영역에 표현 능력을 동적으로 할당함을 나타냈다.
• 실패 사례는 주로 접촉 표면 부족에서 기인하여, 훈련 중 사용된 시뮬레이션 접촉 및 마찰 모델의 한계를 드러냈다.