[논문 리뷰] Model-Driven Feed-Forward Prediction for Manipulation of Deformable Objects

Yinxiao Li, Yan Wang외 6명|arXiv (Cornell University)|2016. 07. 15.

3D Shape Modeling and Analysis참고 문헌 12인용 수 6

한 줄 요약

이 논문은 일반 의류의 3D 메시 모델에 대한 사전 계산된 물리 기반 시뮬레이션 데이터베이스를 사용하여 탄성 물체의 로봇 조작을 위한 모델 기반, 피드포워드 예측 프레임워크를 제안한다. 다양한 자세에서의 시뮬레이션된 깊이 이미지와 3D 메시를 활용하여 실시간 카테고리 및 자세 추정, 비탄성 정렬을 통한 재 grasping, 최적화된 접기 경로를 실현하며, 각 의류 유형당 10회의 테스트 시도에서 평균 93%의 성공률을 기록하고, Baxter 로봇에서 일관된 접기 성능을 달성한다.

ABSTRACT

Robotic manipulation of deformable objects is a difficult problem especially because of the complexity of the many different ways an object can deform. Searching such a high dimensional state space makes it difficult to recognize, track, and manipulate deformable objects. In this paper, we introduce a predictive, model-driven approach to address this challenge, using a pre-computed, simulated database of deformable object models. Mesh models of common deformable garments are simulated with the garments picked up in multiple different poses under gravity, and stored in a database for fast and efficient retrieval. To validate this approach, we developed a comprehensive pipeline for manipulating clothing as in a typical laundry task. First, the database is used for category and pose estimation for a garment in an arbitrary position. A fully featured 3D model of the garment is constructed in real-time and volumetric features are then used to obtain the most similar model in the database to predict the object category and pose. Second, the database can significantly benefit the manipulation of deformable objects via non-rigid registration, providing accurate correspondences between the reconstructed object model and the database models. Third, the accurate model simulation can also be used to optimize the trajectories for manipulation of deformable objects, such as the folding of garments. Extensive experimental results are shown for the tasks above using a variety of different clothing.

연구 동기 및 목표

• 탄성 물체의 높은 차원의 변형 공간과 복잡한 역학적 특성으로 인해 발생하는 로봇 조작의 과제를 해결하기 위해.
• 인식 및 조작를 위한 다양한 레이블이 부여된 학습 데이터를 생성하기 위해 물리 기반 시뮬레이션을 활용하여 실제 데이터 수집에 대한 의존도를 줄이기 위해.
• 조작 계획을 위한 실제 의류와 시뮬레이션 모델 간의 정확한 3D 재구성 및 상응점 설정을 가능하게 하기 위해.
• 접기 작업에 특히 중점을 두고 시뮬레이션된 모델 데이터를 사용하여 조작 경로를 최적화하여 일반적인 실수를 방지하고 성공률를 향상시키기 위해.
• 단일 시뮬레이션 데이터베이스를 사용하여 인식, 재 grasping 및 운동 계획을 통합하는 통합된 피드포워드 파이프라인을 구축하기 위해.

제안 방법

• 중력과 다양한 grasp 자세 조건 하에서 물리 엔진을 사용하여 일반 의류(스웨터, 바지, 반바지)의 3D 메시 모델 데이터베이스를 사전 계산한다.
• RGB-D 입력에서 실시간 3D 부피 재구성을 수행한 후, 카테고리 및 자세 추정을 위해 데이터베이스 내 가장 유사한 시뮬레이션 모델과의 유사도 매칭을 위한 특징 추출을 수행한다.
• 재 grasping을 위한 정확한 점 상응점을 확립하기 위해 재구성된 3D 모델과 가장 유사한 시뮬레이션 모델 간에 비탄성 정렬을 적용한다.
• 시뮬레이션된 모델 데이터를 사용하여 사전에 최적화된 조작 경로를 계산하며, 접기 성공 여부 평가 및 경로 최적화를 위한 새로운 이질성 지표를 도입한다.
• 특히 복잡한 비탄성 형태에서 정확도를 향상시키기 위해 하이브리드 강체-비탄성 정렬 방법을 사용하여 상응점 정확도를 향상시킨다.
• 경로는 Baxter 로봇에서 실행되며, 센서를 통한 실패 탐지 및 향후 온라인 오류 복구 기능을 고려한다.

실험 결과

연구 질문

• RQ1 사전 계산된 3D 의류 모델의 시뮬레이션 데이터베이스는 비구조적 환경에서 탄성 물체의 실시간 인식 및 자세 추정에 기여하는가?
• RQ2 실시간 재구성된 모델과 시뮬레이션 데이터베이스 모델 간의 비탄성 정렬은 탄성 의류의 로봇 재 grasping 성능을 어느 정도 향상시키는가?
• RQ3 사전 시뮬레이션 기반 경로 최적화는 실제 로봇에서 접기 작업의 성공률 및 내구성을 상당히 향상시키는가?
• RQ4 로봇 조작을 위한 탄성 물체의 효율성과 일반화 능력 측면에서, 시뮬레이션 데이터 사용은 실제 데이터 수집에 비해 어느 정도 유리한가?
• RQ5 이 프레임워크는 원래 데이터베이스에 포함되지 않은 새로운 의류 유형으로 확장 가능한가? 그리고 크기 및 소재의 변형에 대해 어떻게 대응하는가?

주요 결과

• 각 의류 유형당 10회의 시험에서 평균 93%의 성공률를 기록했으며, 긴 소매 셔츠, 중형/대형 Towel, 소형 Towel의 경우 모두 10/10 성공을 달성했다.
• 모든 의류 유형에 걸쳐 평균 접기 소요 시간은 97초였으며, 소형 의류(예: 소형 타월)는 최소 83초 내로 완료되었다.
• 접기 시작 시 단일 윤곽선 피팅을 사용함으로써 반복적인 피팅을 방지함으로써 계산 시간을 절감하면서도 높은 정확도를 유지하여 최적화된 경로 접근 방식의 효율성을 입증했다.
• 시뮬레이션된 경로 덕분에 Baxter 로봇이 정의된 단계에 따라 의류를 정확히 접을 수 있었지만, 모터 제어 진동과 암의 낙하로 인한 실패가 발생하여 하드웨어 제어 향상의 필요성을 시사했다.
• 하이브리드 강체-비탄성 정렬 방법은 실제 모델과 시뮬레이션 모델 간의 정확한 상응점을 제공하여, 심한 변형이 발생하더라도 효과적인 재 grasping을 가능하게 했다.
• 장난스러운 의류 유형(긴 소매 셔츠, 청바지, 바지, 타월 등) 전반에 걸쳐 뛰어난 내구성을 보였으며, 크기 및 소재의 변화에 관계없이 일관된 성능을 유지했다.