[논문 리뷰] Differentiable Robotic Manipulation of Deformable Rope-like Objects Using Compliant Position-based Dynamics

Fei Liu, Entong Su외 3명|arXiv (Cornell University)|2022. 02. 20.

Robotic Mechanisms and Dynamics인용 수 4

한 줄 요약

이 논문은 기계적 변형 가능한绳-like 물체의 로봇 조작을 위한 유연한, 미분 가능한 위치 기반 역학(XPBD) 프레임워크를 제안한다. 이는 정확한 실세계-시뮬레이션 시뮬레이션과 제어를 가능하게 하며, 기하학적 제약 조건을 통해 길이 변화/비틀림과 굽힘/비틀림의 결합을 모델링하고, PyTorch의 자동 미분 기능을 활용함으로써 Baxter 및 da Vinci 로봇에서 강력한 매개변수 추정과 형태 제어를 달성한다. 실세계 실험에서 평균 위치 오차가 10cm 미만임을 확인하였다.

ABSTRACT

Robot manipulation of rope-like objects is an interesting problem that has some critical applications, such as autonomous robotic suturing. Solving for and controlling rope is difficult due to the complexity of rope physics and the challenge of building fast and accurate models of deformable materials. While more data-driven approaches have become more popular for finding controllers that learn to do a single task, there is still a strong motivation for a model-based method that could be used to solve a large variety of optimization problems. Towards this end, we introduced compliant, position-based dynamics (XPBD) to model rope-like objects. Using geometric constraints, the model can represent the coupling of shear/stretch and bend/twist effects. Of crucial importance is that our formulation is differentiable, which can solve parameter estimation problems and improve the matching of rope physics to real-life scenarios (i.e., the real-to-sim problem). For the generality of rope-like objects, two different solvers are proposed to handle the inextensible and extensible effects of varied material stiffness for the rope. We demonstrate our framework's robustness and accuracy on real-to-sim experimental setups using the Baxter robot and the da Vinci research kit (DVRK). Our work leads to a new path for robotic manipulation of the deformable rope-like object taking advantage of the ready-to-use gradients.

연구 동기 및 목표

• 로봇 조작 과제에서 정확하고, 유연한 물리학을 갖춘 기계적 변형 가능한 로프-like 물체의 시뮬레이션과 제어에 도전하는 것.
• 실세계-시뮬레이션 전이와 제어에서 비미분 가능한 시뮬레이터와 데이터 기반 모델 없는 접근법의 한계를 극복하는 것.
• 비틀림이 없는 로프와 길이 변화가 가능한 로프의 동역학을 모두 지원하는 안정적이고, 유연한 시뮬레이션 프레임워크를 개발하는 것.
• PyTorch의 자동 미분에서 유도된 기울기를 활용하여 매개변수 추정과 형태 제어를 가능하게 하는 것.
• Baxter 및 da Vinci Research Kit(DVRK)를 활용한 실세계 로봇 설정에서의 안정성과 정확성을 입증하는 것.

제안 방법

• 길이 변화/비틀림과 굽힘/비틀림 결합을 기하학적 제약 조건으로 사용하여, 유연성 매개변수를 갖춘 위치 기반 역학(PBD)을 확장하여 로프-like 물체를 모델링하는 것.
• 비틀림이 없는 로프 동역학에 적합한 테오도르(Thomas)와 길이 변화가 가능한 로프 동역학에 적합한 자코비(Jacobi) 솔버를 도입하여, 다양한 강성의 거리 제약 조건을 처리하는 것.
• PyTorch의 자동 미분을 활용하여 기울기를 계산하고, 역전파를 통해 물리적 매개변수와 제어 정책을 최적화하는 것.
• 굽힘, 비틀림, 부피 보존을 포함한 3차원 로프 행동을 모델링하기 위해 입자 기반 표현과 방향 상태를 사용하는 것.
• 다단계 최적화 파이프라인 적용: 진짜 궤적 데이터를 활용한 매개변수 추정, 그 다음에 유연한 시뮬레이션을 통한 형태 제어.
• Aruco 마커를 사용하여 진짜 데이터 추적하고, 시뮬레이션 결과와 물리적 실험을 비교하여 실로봇에서 프레임워크를 검증하는 것.

실험 결과

연구 질문

• RQ1 비틀림이 없는 로프와 길이 변화가 가능한 로프-like 물체의 행동을 정확하게 시뮬레이션할 수 있는 유연한, 비틀림 기반의 위치 기반 역학 프레임워크는 로봇 조작 과제에서 유의미한 성능을 보일 수 있는가?
• RQ2 실세계 궤적 데이터를 기반으로 하여 제안된 XPBD 설정이 실세계-시뮬레이션 매개변수 추정에 얼마나 효과적인가?
• RQ3 유연한 시뮬레이션을 통한 기울기 기반 최적화를 통해 기계적 변형 가능한 로프의 형태 제어는 어느 정도 가능할 수 있는가?
• RQ4 기계적 성질이 다른 로프를 시뮬레이션할 때, 테오도르(Thomas)와 자코비(Jacobi) 솔버는 안정성과 정확성 측면에서 어떻게 비교되는가?
• RQ5 제한된 목표점 샘플링과 종단 기구의 방향 정보가 실세계 로봇 설정에서 형태 제어 정확성에 미치는 영향은 어떠한가?

주요 결과

• 유연한 자코비(Jacobi) XPBD 솔버는 길이 변화가 가능한 실리콘 로프의 제어점에서 평균 위치 오차 7.8cm, 기준점에서 8.2cm를 기록하여 노이즈가 많은 데이터 속에서도 뛰어난 안정성을 입증하였다.
• 테오도르(Thomas) XPBD 솔버는 길이 변화가 가능한 실리콘 로프의 시뮬레이션에서 비틀림이 없는 가정으로 인해 발산하였으며, 이는 길이 변화가 가능한 재료를 위한 별도의 솔버가 필요함을 확인하였다.
• 이deal 조건에서 테오도르(Thomas) XPBD 솔버를 사용한 형태 제어 과제는 목표 형태와 거의 완벽하게 겹쳐졌으며, 제한된 목표점 샘플링으로 인해 비이deal한 경우에선 눈에 띄는 편차가 관찰되었다.
• 시뮬레이션 결과, 최대 거리 제약 조건 값이 반복 과정을 거쳐 거의 0에 수렴함을 확인하여 안정적인 제약 조건 이행이 이루어졌음을 증명하였다.
• 프레임워크는 테오도르(Thomas) 솔버를 사용하여 비틀림이 없는 로프의 경우 평균 오차 0.61, 길이 변화가 가능한 로프의 경우 0.79로 매개변수 추정을 성공적으로 수행하여 신뢰할 수 있는 물리적 모델 피팅을 보였다.
• 실물 하드웨어에서 뛰어난 성능을 보였으며, 시뮬레이션 결과가 Baxter 및 da Vinci Research Kit에서의 물리적 실험 결과와 매우 유사하게 일치함을 입증하였다.