[논문 리뷰] Deep Differentiable Grasp Planner for High-DOF Grippers

Min Liu, Zherong Pan외 3명|arXiv (Cornell University)|2020. 02. 04.

Robot Manipulation and Learning참고 문헌 55인용 수 4

한 줄 요약

이 논문은 고도의 자유도를 가진 그립퍼를 위한 미분 가능한 그립 플래너를 제안하며, 자동 미분를 통해 딥 뉴럴 네트워크의 엔드 투 엔드 훈련을 가능하게 하여 그립 자세를 예측한다. 표면 메쉬에서 일반화된, 미분 가능한 그립 품질 지표와 충돌 제약 조건을 정식화함으로써, 최소한의 지도 데이터로도 뛰어난 그립 성공률을 달성하며, 이전 방법 대비 물리적 하드웨어 성공률을 22% 향상시키고 Q₁ 지표를 0.12 향상시켰다.

ABSTRACT

We present an end-to-end algorithm for training deep neural networks to grasp novel objects. Our algorithm builds all the essential components of a grasping system using a forward-backward automatic differentiation approach, including the forward kinematics of the gripper, the collision between the gripper and the target object, and the metric for grasp poses. In particular, we show that a generalized Q1 grasp metric is defined and differentiable for inexact grasps generated by a neural network, and the derivatives of our generalized Q1 metric can be computed from a sensitivity analysis of the induced optimization problem. We show that the derivatives of the (self-)collision terms can be efficiently computed from a watertight triangle mesh of low-quality. Altogether, our algorithm allows for the computation of grasp poses for high-DOF grippers in an unsupervised mode with no ground truth data, or it improves the results in a supervised mode using a small dataset. Our new learning algorithm significantly simplifies the data preparation for learning-based grasping systems and leads to higher qualities of learned grasps on common 3D shape datasets [7, 49, 26, 25], achieving a 22% higher success rate on physical hardware and a 0.12 higher value on the Q1 grasp quality metric.

연구 동기 및 목표

• 학습 기반 그립핑에서 대규모 지도 데이터 기반 그립 애너테이션에 의존하지 않도록 데이터 준비를 단순화하기 위해.
• 다중 시점 깊이 이미지만을 입력으로 사용하여 고도의 자유도를 가진 그립퍼를 위한 딥 뉴럴 네트워크의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 정확한 접촉이 없더라도 유효한 그립 품질 지표를 유지할 수 있는 미분 가능한 그립 품질 지표를 개발하기 위해.
• 저품질 삼각형 메쉬를 사용하여 자가 충돌 및 물체 충돌 제약 조건의 기울기를 효율적으로 계산하기 위해.
• 최소한의 데이터로도 비지도 및 지도 학습 환경에서 그립 품질과 성공률을 향상시키기 위해.

제안 방법

• 이 방법은 다중 시점 깊이 이미지를 입력으로 받아 ResNet-50 및 완전 연결 계층과 시점 풀링을 사용하여 고도의 자유도를 가진 그립퍼 구성 상태를 직접 예측하는 신경망을 사용한다.
• 예측된 구성 상태는 물리적 실행과 충돌 검사에 사용하기 위해 유클리드 공간으로 전환되는 정방향 운동학을 통해 변환된다.
• Q₁로 일반화된 미분 가능한 그립 품질 지표가 정의되며, 그립퍼가 물체에 접촉하지 않더라도 최적화가 가능하다.
• Q₁ 지표의 기울기는 기초 최적화 문제의 민감도 분석을 통해 계산되며, 그립 품질 함수를 통해 역전파가 가능해진다.
• 자기 충돌 및 물체 충돌 제약 조건은 밀폐된 삼각형 메쉬에서 계산된 미분 가능한 거리 함수를 사용하여 강제로 적용된다.
• 전체 시스템은 그립 품질 최적화, 충돌 회피, 데이터 일관성, 그리고 그립퍼-물체 간 거리 근접도를 조합한 손실 함수를 사용하여 훈련된다.

실험 결과

연구 질문

• RQ1 고도의 자유도를 가진 그립퍼에서 정확한 접촉이 없더라도 그립 품질 지표를 정의하고 최적화할 수 있는가?
• RQ2 표면 메쉬 표현만을 사용하여 자가 충돌 및 물체 충돌 제약 조건을 어떻게 미분 가능하게 만들 수 있는가?
• RQ3 대규모 지도 기반 그립 데이터가 필요 없이 딥 뉴럴 네트워크를 엔드 투 엔드로 훈련하여 고도의 자유도를 가진 그립 자세를 예측할 수 있는가?
• RQ4 미분 가능한 그립 플래닝이 실제 하드웨어 구현에서 그립 성공률과 품질 지표를 어느 정도 향상시킬 수 있는가?
• RQ5 제안된 방법은 학습 기반 그립핑에서 성능을 유지하거나 향상시키면서 데이터 준비 복잡성을 줄일 수 있는가?

주요 결과

• 제안된 방법은 기준 방법 대비 실제 하드웨어에서 22% 높은 그립 성공률을 달성한다.
• Q₁ 그립 품질 지표가 0.12 포인트 향상되어 더 높은 안정성과 내구성을 나타낸다.
• 지도 없는 훈련이 가능하여 지도 기반 그립 데이터가 전혀 필요 없어지며, 데이터 준비 오버헤드가 크게 감소한다.
• 미분 가능한 그립 지표와 충돌 제약 조건은 효율적인 기울기 기반 최적화를 가능하게 하여 局소 최적의 그립 자세를 도출한다.
• 저품질 삼각형 메쉬를 사용해도 높은 성능을 유지하며, 효율적인 충돌 계산이 가능하다.
• ShapeNet 및 ModelNet을 포함한 표준 3D 형상 데이터셋에서 최신 기술 수준의 성능을 달성한다.