[논문 리뷰] NeuralGrasps: Learning Implicit Representations for Grasps of Multiple Robotic Hands

Ninad Khargonkar, Neil Song외 3명|arXiv (Cornell University)|2022. 07. 06.

Robot Manipulation and Learning인용 수 5

한 줄 요약

NeuralGrasps는 여러 로봇 손과 인간 손의 抓握을 공유 잠재 공간에 인코딩하는 신경 은닉 표현을 제안하며, 거리 학습을 통해 그 抓握 유사성을 유지한다. 이는 다양한 그립퍼 간의 제로샷 抓握 전이, 심지어 인간에서 로봇으로의 전이를 가능하게 하며, 부분적인 점군으로부터 접촉 최적화를 통한 6차원 물체 자세 추정을 지원하여 실제 환경에서의 抓握 성공률을 평균 22.9% 향상시킨다.

ABSTRACT

We introduce a neural implicit representation for grasps of objects from multiple robotic hands. Different grasps across multiple robotic hands are encoded into a shared latent space. Each latent vector is learned to decode to the 3D shape of an object and the 3D shape of a robotic hand in a grasping pose in terms of the signed distance functions of the two 3D shapes. In addition, the distance metric in the latent space is learned to preserve the similarity between grasps across different robotic hands, where the similarity of grasps is defined according to contact regions of the robotic hands. This property enables our method to transfer grasps between different grippers including a human hand, and grasp transfer has the potential to share grasping skills between robots and enable robots to learn grasping skills from humans. Furthermore, the encoded signed distance functions of objects and grasps in our implicit representation can be used for 6D object pose estimation with grasping contact optimization from partial point clouds, which enables robotic grasping in the real world.

연구 동기 및 목표

• 다양한 로봇 그립퍼, 특히 인간 손까지 포함하여 그들의 抓握 스킬을 공유 잠재 공간에 학습시켜 서로 전이 가능하게 하는 것.
• 서명 거리 함수(SDF)를 사용해 물체 형태와 그립퍼 구성 정보를 동시에 인코딩하는 신경 은닉 표현을 개발하는 것.
• 접촉 영역 겹침을 기반으로 한 抓握 유사성 반영 거리 메트릭을 잠재 공간에서 학습하는 것.
• 부분적인 점군으로부터 접촉 제약 조건을 통합한 최적화를 통해 실제 환경에서의 로봇 抓握을 지원하는 것.
• 미래의 抓握 전이 및 일반화 연구를 위한 새로운 다중 그립퍼 抓握 데이터셋을 제안하는 것.

제안 방법

• 딥 네트워크가 잠재 벡터를 인코딩하며, 이는 복원 시 어떤 3D 점에서나 그립핑 구성에서의 물체와 그립퍼의 SDF 값을 예측한다.
• 잠재 공간에서 잠재 코드 간의 거리가 그 抓握 접촉 맵의 유사성 반영하도록 삼중체 손실 함수를 사용하여 잠재 공간을 학습한다.
• 접촉 맵을 계산하여 抓握 유사성을 정의하고, 이를 통해 잠재 공간 내 거리 메트릭 학습을 감독한다.
• 은닉 SDF 표현을 통해 부분적인 점군과 그 抓握 접촉 제약 조건을 활용한 6차원 물체 자세 추정을 미분 가능하게 최적화할 수 있다.
• 인간의 시연 파이프라인은 RGB-D 영상에서 3D 손 메esh를 캡처하고, 잠재 코드를 추론하며, 실행을 위해 잠재 공간 내에서 가장 가까운 로봇 抓握을 검색한다.
• 다른 그립퍼 유형에서의 잠재 공간 내 가장 가까운 抓握을 쿼리함으로써 그 抓握 전이가 가능해지며, 인간에서 로봇으로의 스킬 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 여러 로봇 손과 인간 손의 抓握을 공유 잠재 공간에 표현하면서도 그 유사성을 유지할 수 있는가?
• RQ2 잠재 공간 내 거리 학습이 인간 손까지 포함한 다양한 그립퍼 유형 간 효과적인 제로샷 抓握 전이를 가능하게 하는가?
• RQ3 은닉 SDF 표현이 부분적인 점군으로부터 접촉 인식 최적화를 통한 6차원 물체 자세 추정을 실제 환경에서 향상시키는가?
• RQ4 접촉 기반 자세 최적화는 SDF 전용 자세 추정에 비해 抓握 성공률에 어떤 영향을 미치는가?
• RQ5 제안된 은닉 표현을 통해 인간의 시연를 효과적으로 인코딩하고 로봇 그립퍼로 전이시킬 수 있는가?

주요 결과

• 기본 자세 추정을 사용할 경우 62.8%의 抓握 성공률을 기록했고, 접촉 기반 최적화를 적용한 경우 85.7%로 22.9%의 상대적 향상이 이루어졌다.
• 학습된 잠재 공간은 접촉 맵 유사성 점수와 잠재 코드 간 거리 간 상관계수가 0.89로 나타나 抓握 유사성을 잘 유지하고 있음을 입증했다.
• 실제 실험에서 인간 손에서 Fetch 모바일 매니퓰레이터로의 抓握 전이가 성공적으로 구현되었으며, 정성적 결과를 통해 기능적 전이 가능성 확인.
• 접촉 맵 감독을 통한 삼중체 손실은 잠재 공간 메트릭이 抓握 유사성과 잘 일치하도록 효과적으로 정렬되었으며, 실제 접촉 맵 거리와 높은 유사성 점수를 보였다.
• 예측된 抓握와 물체 간의 접촉을 최적화함으로써 부분적인 점군 관측만으로도 실제 환경에서의 로봇 抓握을 가능하게 하였다.
• 제안된 다중 그립퍼 抓握 데이터셋은 향후 다양한 그립퍼 간의 抓握 전이 및 새로운 물체에 대한 일반화 연구의 기초를 제공한다.