[논문 리뷰] Learning Visible Connectivity Dynamics for Cloth Smoothing

Xingyu Lin, Yufei Wang외 2명|arXiv (Cornell University)|2021. 05. 21.

3D Shape Modeling and Analysis참고 문헌 39인용 수 15

한 줄 요약

이 논문은 부분적인 포인트 클라우드 관측에서 가시 연결성 역학(VCD)을 학습하는 입자 기반 역학 모델을 제안하여 로봇에서 옷 펴기 성능을 향상시킨다. 가시 옷 포인트 간에 메시 유사 연결성을 추론하고 이 희소 그래프 위에서 역학을 모델링함으로써, 다양한 옷에 대해 뛰어난 일반화 능력과 제로샷 시뮬레이션-진짜 세계 전이 성능를 달성하였으며, 기존의 모델 기반 및 모델리스 접근 방식을 초월하여 시뮬레이션과 프랑카 암에서의 실제 구현에서 모두 뛰어난 성능을 보였다.

ABSTRACT

Robotic manipulation of cloth remains challenging for robotics due to the complex dynamics of the cloth, lack of a low-dimensional state representation, and self-occlusions. In contrast to previous model-based approaches that learn a pixel-based dynamics model or a compressed latent vector dynamics, we propose to learn a particle-based dynamics model from a partial point cloud observation. To overcome the challenges of partial observability, we infer which visible points are connected on the underlying cloth mesh. We then learn a dynamics model over this visible connectivity graph. Compared to previous learning-based approaches, our model poses strong inductive bias with its particle based representation for learning the underlying cloth physics; it is invariant to visual features; and the predictions can be more easily visualized. We show that our method greatly outperforms previous state-of-the-art model-based and model-free reinforcement learning methods in simulation. Furthermore, we demonstrate zero-shot sim-to-real transfer where we deploy the model trained in simulation on a Franka arm and show that the model can successfully smooth different types of cloth from crumpled configurations. Videos can be found on our project website.

연구 동기 및 목표

• 자기 음영과 복잡한 역학으로 인한 부분 관측 상황에서의 로봇 옷 조작 도전 과제를 해결하기 위해.
• 완전한 메시 재구성 없이도 새로운 옷 형태, 재질, 색상에 대해 일반화할 수 있는 역학 모델을 개발하기 위해.
• 유추된 연결성을 가진 입자 기반 표현을 통해 물리적 인덕티브 바이어스를 통합함으로써 계획 성능를 향상시키기 위해.
• 실제로의 미세조정 없이도 시뮬레이션 학습 데이터만으로도 제로샷 시뮬레이션-진짜 세계 전이를 가능하게 하기 위해.
• 픽셀 기반 또는 잠재 벡터 역학 모델의 한계를 극복하기 위해 물리적으로 타당하고 시각적 특징에 불변인 역학 모델을 학습하기 위해.

제안 방법

• 학습된 엣지 예측 모듈을 사용하여 부분 포인트 클라우드 내에서 어떤 점들이 기저의 옷 메시 상에서 연결되어 있는지를 추정함으로써, 가시 연결성 그래프를 추론한다.
• 가시 연결성 그래프 위에 입자 기반 역학 모델을 구축하며, 그래프 신경망(GNN)을 사용하여 로봇 동작 하에서 입자 상태 전이를 예측한다.
• 다양한 플래너를 사용하여 목표 옷 구성에 도달하기 위해 거리 최소화를 최적화하는 픽업 앤 플레이스 동작을 최적화함으로써, 역학 모델을 훈련시킨다.
• 그래프 전역 정보 전파를 향상시키기 위해 GNN 프로세서에 글로벌 모델을 통합함으로써 모델의 강건성을 향상시킨다.
• GNS를 영감으로 삼은 메시지 전달 GNN 아키텍처를 사용하며, 아블레이션 결과로 메시지 전달 단계 수에 대한 강건성을 입증하였다.
• 모델은 시뮬레이션에서 훈련되고 실제 프랑카 암에 그대로 배포되며, 미세조정 없이도 제로샷 시뮬레이션-진짜 세계 전이를 성공적으로 구현하였다.

실험 결과

연구 질문

• RQ1 시뮬레이션에서 훈련된 입자 기반 역학 모델이 가시 연결성 그래프를 기반으로 하여 예측되지 않은 옷 기하학적 형태와 재질에 일반화 가능한가?
• RQ2 픽셀 기반 또는 잠재 벡터 역학 모델과 비교해 볼 때, 가시 연결성 역학은 계획 정확도와 일반화 능력에서 어떤가?
• RQ3 실제 환경에서 깊이 센서 노이즈와 부분 관측 상황에 대해 모델의 강건성은 어느 정도인가?
• RQ4 실제 세계에서의 미세조정 없이도 제로샷 시뮬레이션-진짜 세계 전이를 통해 옷 펴기를 성공적으로 달성할 수 있는가?
• RQ5 GNN의 메시지 전달 단계 수나 글로벌 모델 사용 여부와 같은 아키텍처 선택에 대해 성능에 얼마나 민감한가?

주요 결과

• VCD 모델은 시뮬레이션에서 최신 기술 기반 및 모델리스 강화 학습 방법을 크게 능가하며, 지상 진실 비용 기준 평균 입자 거리가 36.897 mm로, 다음으로 우수한 방법보다 15.744 mm로 더 낮게 기록하였다.
• 지상 진실 비용 기준에서 IOU 점수가 19.871로 나타나 목표 옷 구성과의 높은 일치도를 보였으며, 이는 이전 방법들을 능가하는 성능을 의미한다.
• 깊이 센서 노이즈에 대해 강건성을 보였으며, 실제 실험에서 사용된 Azure Kinect 깊이 센서의 노이즈 범위 내에서도 높은 성능 유지를 유지하였다.
• 제로샷 시뮬레이션-진짜 세계 전이가 프랑카 암에서 성공적으로 작동하여, 구겨진 상태에서 다양한 재질, 기하학적 형태, 색상의 옷을 성공적으로 펴는 데 기여하였다.
• 아블레이션 연구 결과, GNN에 글로벌 모델을 통합하면 계획 성능 향상이 이루어지며, 메시지 전달 단계 수가 3~10 범위에서 강건함을 입증하여 하이퍼파rameter 선택에 대한 안정성을 보였다.
• 진짜 FleX 옷 역학 모델을 사용하는 오라클는 완벽한 결과를 달성하였으며, 이는 전체 역학 지식이 있으면서도 향후 성능 향상 가능성을 시사한다.