[논문 리뷰] Learning Diverse and Physically Feasible Dexterous Grasps with Generative Model and Bilevel Optimization

Albert Wu, Michelle Guo외 1명|arXiv (Cornell University)|2022. 07. 01.

Robot Manipulation and Learning인용 수 10

한 줄 요약

이 논문은 조건부변동자기화확률모형(CVAE)을 활용해 다양한 그립 후보를 생성하고, 이중최적화(BO)를 통해 물리적 타당성을 정교화하는 하이브리드 프레임워크를 제안한다. 충돌, 접근 가능성, 와이어스 클로징, 마찰력 제약 조건을 강제 적용함으로써 20종의 가정용 물체에 대해 실제 실험에서 86.7%의 성공률을 달성한다.

ABSTRACT

To fully utilize the versatility of a multi-fingered dexterous robotic hand for executing diverse object grasps, one must consider the rich physical constraints introduced by hand-object interaction and object geometry. We propose an integrative approach of combining a generative model and a bilevel optimization (BO) to plan diverse grasp configurations on novel objects. First, a conditional variational autoencoder trained on merely six YCB objects predicts the finger placement directly from the object point cloud. The prediction is then used to seed a nonconvex BO that solves for a grasp configuration under collision, reachability, wrench closure, and friction constraints. Our method achieved an 86.7% success over 120 real world grasping trials on 20 household objects, including unseen and challenging geometries. Through quantitative empirical evaluations, we confirm that grasp configurations produced by our pipeline are indeed guaranteed to satisfy kinematic and dynamic constraints. A video summary of our results is available at youtu.be/9DTrImbN99I.

연구 동기 및 목표

• 복잡한 기하학적 형태를 가진 새로운 물체에 대해 다양하고 물리적으로 타당한 다지기 그립을 생성하는 데 도전한다.
• 순수 학습 기반 방법이 엄격한 물리적 제약 조건을 충족시키지 못하는 한계를 극복한다.
• 딥 러닝 생성 모델링과 이중최적화를 융합하여 제약 조건을 만족하는 그립 계획을 수행한다.
• 복잡한 가정용 물체, 특히 새로운 형태의 물체를 대상으로 실제 하드웨어에서 방법을 검증한다.
• 물리적 타당성, 특히 와이어스 클로징이 성공적인 그립을 위해 필수 조건임을 입증한다.

제안 방법

• 6종의 YCB 물체만을 사용해 조건부변동자기화확률모형(CVAE)을 훈련하여, 물체의 점군에서 직접 손가락 접촉점을 예측한다.
• CVAE의 예측 결과를 기반으로 이중최적화(BO) 문제의 초기 조건으로 사용하며, 운동학적 및 역학적 제약 조건을 강제한다.
• 상위 수준의 BO는 접근 가능성, 충돌, 와이어스 클로징, 마찰력 원뿔 제약 조건을 만족하도록 그립 구성 조건을 최적화한다.
• 하위 수준의 최적화는 그립 구성 조건이 운동학적으로 타당하고 접촉 제약 조건을 만족하도록 보장한다.
• 파이프라인은 기각 샘플링을 사용해 타당하지 않은 그립을 걸러내어 전체 성공률을 향상시킨다.
• 이 방법은 복잡한 형태를 가진 20종의 새로운 가정용 물체에 대해 실제 하드웨어 실험을 통해 평가된다.

실험 결과

연구 질문

• RQ1 학습된 그립 생성 모델은 새로운 물체에 대해 다양하고 물리적으로 타당한 다지기 그립 구성 조건을 생성할 수 있는가?
• RQ2 이중최적화는 와이어스 클로징 및 마찰력과 같은 복잡한 물리적 제약 조건을 만족시키기 위해 학습된 그립 후보를 효과적으로 정교화할 수 있는가?
• RQ3 물리적 타당성—특히 와이어스 클로징—은 실제 그립 성공률과 상관이 있는가?
• RQ4 학습과 최적화의 융합은 제약 조건 만족도와 하드웨어 성능 측면에서 순수 학습 기반 또는 순수 최적화 기반의 기준보다 어떻게 비교되는가?
• RQ5 소규모 CVAE를 소수의 물체에서 훈련시켜도 다양한 새로운 가정용 물체에 일반화할 수 있는가?

주요 결과

• 제안된 방법은 20종의 새로운 가정용 물체에 대해 120회의 실제 실험 그립 시도에서 평균 86.7%의 성공률을 달성했다. 복잡하고 새로운 기하학적 형태를 포함한다.
• 이중최적화를 통해 기하학적 거리 위반 최대치는 CVAE 전용일 때 2.032cm에서 0.08cm로 감소하여 운동학적 타당성 향상이 확인되었다.
• 메디안 힘 비율 0.00% 및 토크 비율 0.01%를 기록하여 와이어스 클로징 제약 조건이 거의 완벽하게 강제됨을 확인했다.
• 이중최적화에 의해 기각된 모든 그립은 실제 실험에서 실패했으며, 이는 물리적 타당성이 성공 여부를 강력하게 예측하는 요소임을 확인했다.
• CVAE 전용 기준은 시각적으로 타당한 그립을 생성했지만 물리적 제약 조건을 충족시키지 못했으며, 메디안 D(p,O) = 0.33이며 최대 2.032cm까지 위반되었다.
• 절단 실험 결과, CVAE + 운동학적 BO는 CVAE 전용보다 더 높은 제약 조건 만족도를 달성했지만, 유일하게 전체 BO 파이프라인만이 역학적 타당성과 실제 성공률을 보장했다.