[논문 리뷰] Generating Grasp Poses for a High-DOF Gripper Using Neural Networks

Min Liu, Zherong Pan외 3명|arXiv (Cornell University)|2019. 03. 01.

Robot Manipulation and Learning참고 문헌 35인용 수 7

한 줄 요약

이 논문은 신경망을 사용하여 고도수의 자유도를 가진 집기 자세를 생성하는 딥러닝 방법을 제안한다. 자세의 다의성 문제를 일관성 손실을 통해 해결하고, 충돌 손실을 통해 충돌을 방지한다. 324개의 물체로 구성된 대규모 보정된 데이터셋으로 훈련된 이 방법은 지도 학습 기반의 베이스라인 대비 4배 높은 집기 자세 정확도를 달성하며, 다중 시야 깊이 영상에서 유도된 노이즈가 있는 3D 재구성 조건에서도 25-DOF 샤로우 핸드에서 실시간으로 3~5초 내에 집기 자세를 생성할 수 있다.

ABSTRACT

We present a learning-based method for representing grasp poses of a high-DOF hand using neural networks. Due to redundancy in such high-DOF grippers, there exists a large number of equally effective grasp poses for a given target object, making it difficult for the neural network to find consistent grasp poses. We resolve this ambiguity by generating an augmented dataset that covers many possible grasps for each target object and train our neural networks using a consistency loss function to identify a one-to-one mapping from objects to grasp poses. We further enhance the quality of neural-network-predicted grasp poses using a collision loss function to avoid penetrations. We use an object dataset that combines the BigBIRD Database, the KIT Database, the YCB Database, and the Grasp Dataset to show that our method can generate high-DOF grasp poses with higher accuracy than supervised learning baselines. The quality of the grasp poses is on par with the groundtruth poses in the dataset. In addition, our method is robust and can handle noisy object models such as those constructed from multi-view depth images, allowing our method to be implemented on a 25-DOF Shadow Hand hardware platform.

연구 동기 및 목표

• 복잡한 로봇 손에 대해 저도수의 자유도 가정 없이 직접적이고 신속하며 정확한 고도수의 자유도 집기 자세 생성을 가능하게 하기 위해.
• 단일 물체에 대해 다수의 효과적인 자세가 존재하는 집기 자세의 다의성 문제를 해결하기 위해.
• 다중 시야 깊이 영상에서 유도된 노이즈가 있거나 완벽하지 않은 3D 물체 재구성에 대응할 수 있도록 일반화 및 내성 강화를 위해.
• 생성된 집기 자세가 실제 로봇 조작 환경에서 충돌 없이 물리적으로 가능하도록 보장하기 위해.
• 25-DOF 샤로우 핸드 하드웨어 플랫폼에서 실시간 추론(1회 집기당 3~5초)을 달성하기 위해.

제안 방법

• 이 방법은 신경망을 사용해 물체 입력에서 단일 집기 자세로의 일대일 매핑을 예측하며, 다수의 후보 자세 중에서 하나의 대표 자세를 선택하도록 유도하기 위해 일관성 손실을 통해 다의성을 해결한다.
• 다양하고 동일하게 효과적인 구성에서의 자세 표현에 대해 안정적이고 일관된 표현을 학습하도록 유도하기 위해 일관성 손실 함수를 도입한다.
• 훈련 중에 충돌 손실 함수를 적용하여 손상된 손-물체 충격을 방지함으로써 생성된 자세가 물리적으로 가능하고 자기 충돌을 피하도록 보장한다.
• 훈련 데이터셋은 BigBIRD, KIT, YCB, Grasp Datasets를 조합하여, 각 물체당 수십 개의 자세 예측을 포함함으로써 강건성과 일반화 능력을 향상시킨다.
• 노이즈가 있는 입력 모델의 경우, 반복적인 물체 회전(3~5회)을 수행하고 재추론을 반복하여 와이어스페이스 지표에 기반해 최고 품질의 집기 자세를 선택한다.
• 최종 집기 자세는 와이어스페이스에서의 자세 품질 평가를 위한 이psilon 기반 지표를 사용해 다수의 실행 결과 중에서 선택한다.

실험 결과

연구 질문

• RQ1 다수의 동일하게 효과적인 자세 구성이 존재하는 상황에서도, 신경망이 매번 동일한 고도수의 자유도 집기 자세를 일관되게 예측할 수 있는가?
• RQ2 다중 시야 깊이 영상에서 유도된 노이즈가 있는 3D 물체 재구성에 대해, 딥러닝 모델이 고정밀도의 집기 정확도를 유지하면서도 강건하게 작동할 수 있는가?
• RQ3 일관성 손실 및 충돌 손실 함수를 도입함으로써, 기존의 지도 학습 대비 예측된 집기 자세의 정확도와 실현 가능성은 어느 정도 향상되는가?
• RQ4 이 방법은 샤로우 핸드와 같은 25-DOF 로봇 손에서 5초 이내의 실시간 추론(5초 이하)을 달성할 수 있는가?
• RQ5 새로운 복잡한 물체에 적용했을 때, 이 방법은 GraspIt! 및 지도 학습 기반의 기존 기반과 비교해 얼마나 높은 수준의 자세 품질을 제공하는가?

주요 결과

• 이 방법은 기존의 지도 학습 기반의 베이스라인 대비 집기 자세 예측 정확도가 4배 높으며, 이는 정확도를 진정된 자세와의 거리로 측정한 것이다.
• 다중 시야 깊이 영상에서 재구성된 15개의 실제 물체에 대해, 이psilon 지표로 측정한 평균 자세 품질은 0.102에 도달하여 노이즈가 있는 입력에 대한 강건성을 입증한다.
• 25-DOF 샤로우 핸드에서 실제 로봇으로 15번의 시도 중 12번이 성공적으로 집기 작업을 완료하여, 이 방법의 실용성과 실제 적용 가능성의 타당성을 입증한다.
• 일관성 손실 및 충돌 손실 함수의 사용은 노이즈가 있거나 완벽하지 않은 물체 모델 조건에서도 자세 품질을 크게 향상시키며, 충격을 완전히 제거한다.
• 기존의 샘플링 기반 접근 방식에서 수백 번의 물체 회전이 필요로 했던 것에 비해, 이 방법은 평균적으로 3~5회로 물체 회전 횟수를 크게 줄여 실시간 빠른 추론을 가능하게 한다.
• 모델이 생성한 집기 자세는 시뮬레이션 및 실제 환경 모두에서 GraspIt!의 결과와 유사한 수준의 품질을 보이며, 높은 정밀도와 신뢰성을 확인한다.