[논문 리뷰] VisuoSpatial Foresight for Multi-Step, Multi-Task Fabric Manipulation

Ryan Hoque, Daniel Seita외 7명|arXiv (Cornell University)|2020. 03. 19.

3D Shape Modeling and Analysis참고 문헌 62인용 수 20

한 줄 요약

이 논문은 도메인 랜덤라이제이션된 RGB 및 깊이 데이터에서 시뮬레이션 상에서 시각적 예측을 통해 학습된 목표 조건화 정책인 시각공간 예측(VisuoSpatial Foresight, VSF)을 소개한다. 이는 작업 지시 없이 다단계 천연직물 정리 및 접기 작업을 수행할 수 있도록 하며, RGBD를 사용할 경우 RGB만 사용할 경우 대비 접기 성공률이 80% 향상된다. 또한 실제 dVRK 외과 로봇으로 효과적으로 전이되어, 물리적 정리 작업에서 이민 학습보다 2% 높은 성능을 보였다.

ABSTRACT

Robotic fabric manipulation has applications in home robotics, textiles, senior care and surgery. Existing fabric manipulation techniques, however, are designed for specific tasks, making it difficult to generalize across different but related tasks. We extend the Visual Foresight framework to learn fabric dynamics that can be efficiently reused to accomplish different fabric manipulation tasks with a single goal-conditioned policy. We introduce VisuoSpatial Foresight (VSF), which builds on prior work by learning visual dynamics on domain randomized RGB images and depth maps simultaneously and completely in simulation. We experimentally evaluate VSF on multi-step fabric smoothing and folding tasks against 5 baseline methods in simulation and on the da Vinci Research Kit (dVRK) surgical robot without any demonstrations at train or test time. Furthermore, we find that leveraging depth significantly improves performance. RGBD data yields an 80% improvement in fabric folding success rate over pure RGB data. Code, data, videos, and supplementary material are available at https://sites.google.com/view/fabric-vsf/.

연구 동기 및 목표

• 작업 전용 지시 없이도 다양한 장기 목표의 천연직물 조작 작업(예: 정리 및 접기)으로의 일반화를 가능하게 하기 위해.
• 도메인 랜덤라이제이션된 시뮬레이션과 다중 모odal 센서를 활용하여 천연직물 조작에서 높은 데이터 요구량과 실세계 전이 과제를 해결하기 위해.
• 더 정확한 동역학 모델링을 위해 시각적 예측에 깊이 정보를 통합하여 정책의 성능과 강건성을 향상시키기 위해.
• 실세계 로봇 시스템에 대해 실세계 미세조정 없이도 단일 학습 정책을 제로샷 전이할 수 있도록 하기 위해.

제안 방법

• 도메인 랜덤라이제이션된 천연직물 시뮬레이션 환경에서 RGB 및 깊이 입력을 사용해 순수하게 무작위 상호작용 데이터를 기반으로 영상 예측 모델을 학습한다.
• 학습된 시각적 동역학 모델을 사용한 모델 예측 제어(MPC)를 통해 천연직물 조작을 위한 목표 조건화 동작을 생성한다.
• 시뮬레이션에서 실제 세계로의 전이를 향상시키기 위해 도메인 랜덤라이제이션을 활용하여 시뮬레이션과 실제 세계 간의 도메인 갭을 줄인다.
• 학습된 시각-공간 동역학 모델을 기반으로 계획을 수행하여 목표 조건화 정책을 정의함으로써, 새로운 목표에 대한 제로샷 적응을 가능하게 한다.
• 작은 크기의 동작을 선호하는 조건부 가우시안 샘플링과 교차 엔트로피 방법(CEM)을 사용해 동작 시퀀스를 최적화한다.
• 실세계에서의 실시간 RGB 이미지만을 사용하여 시뮬레이션 및 실제 dVRK 로봇에서 정책을 평가하며, 실세계 지시 데이터 없이 평가한다.

실험 결과

연구 질문

• RQ1 시뮬레이션에서 작업 지시 없이 학습된 단일 목표 조건화 정책이 접기 및 정리와 같은 다양한 다단계 천연직물 조작 작업으로 일반화될 수 있는가?
• RQ2 시각적 예측에 깊이 정보를 통합할 경우 천연직물 조작 작업의 성능과 강건성에 어떤 영향을 미치는가?
• RQ3 실세계에서의 미세조정 없이도 시뮬레이션에서 순수하게 무작위 상호작용 데이터만을 사용해 학습된 정책이 dVRK와 같은 실세계 로봇 시스템으로 전이될 수 있는 정도는 어느 정도인가?
• RQ4 고정밀 천연직물 작업에서 시각-공간 동역학 모델링을 사용할 경우 이민 학습 대비 정밀도와 성공률가 향상되는가?
• RQ5 정책의 동작 선택 전략(예: 작은 크기의 델타 대비 큰 크기의 델타)이 복잡한 탄성 물체 조작에서 성능과 강건성에 어떤 영향을 미치는가?

주요 결과

• VSF 정책는 시뮬레이션에서 RGBD 데이터를 사용할 경우 RGB 전용 데이터 대비 접기 성공률이 80% 향상되었다.
• 실제 dVRK 로봇에서, 학습 및 추론 과정에서 작업 지시 데이터에 접근할 수 없음에도 불구하고, VSF 정책는 이민 학습 기반선보다 천연직물 정리 성공률에서 2% 높은 성능을 보였다.
• 정책는 실세계 로봇으로 성공적으로 전이되었으며, 실제 동작을 재생할 때 시뮬레이션에서 합리적인 접기 결과를 생성했으며, 이는 주로 동역학 불일치가 실패의 주요 원인이며 정책 자체의 실패가 아니라는 것을 시사한다.
• VSF 정책는 이민 학습 기반선보다 더 작은, 더 정밀한 동작 델타를 생성하여 천연직물 모서리를 덮는 위험을 줄이고 장기적인 작업 안정성을 향상시켰다.
• 깊이 정보의 사용은 시각적 예측 성능을 크게 향상시켰으며, 이는 복잡한 천연직물 조작에서 정확한 동역학 모델링을 위해 다중 모달 센서가 필수적임을 시사한다.
• 동작 델타 히스토그램 분석 결과, VSF의 동작는 일관되게 작고 제어가 잘 되어 있었으며, 고크기 동작 정책에서 흔히 발생하는 역기능적 움직임을 방지하는 데 기여했다.