[논문 리뷰] Closing the Sim2Real Gap in Dynamic Cloth Manipulation.

Julius Hietala, David Blanco–Mulero외 2명|arXiv (Cornell University)|2021. 09. 10.

3D Shape Modeling and Analysis참고 문헌 21인용 수 5

한 줄 요약

이 논문은 시뮬레이션에서 시각 피드백과 물리적 성질의 무작위화를 사용하여 동적 옷감 조작을 위한 제로샷 강화학습 방법을 제안한다. 이는 정교한 캘리브레이션 없이도 정책이 실제 옷감 조작 작업으로 일반화되도록 한다. 본 방법은 시각적 관측만을 사용하고 실제 환경에서의 보정 없이도 시뮬레이션에서 학습된 정책을 실제 환경으로 성공적으로 전이시킨다.

ABSTRACT

Cloth manipulation is a challenging task due to the many degrees of freedom and properties of the material affecting the dynamics of the cloth. The nonlinear dynamics of the cloth have particularly strong significance in dynamic cloth manipulation, where some parts of the cloth are not directly controllable. In this paper, we present a novel approach for solving dynamic cloth manipulation by training policies using reinforcement learning (RL) in simulation and transferring the learned policies to the real world in a zero-shot manner. The proposed method uses visual feedback and material property randomization in a physics simulator to achieve generalization in the real world. Experimental results show that using only visual feedback is enough for the policies to learn the dynamic manipulation task in a way that transfers from simulation to the real world. In addition, the randomization of the dynamics in simulation enables capturing the behavior of a variety of cloths in the real world.

연구 동기 및 목표

• 비선형 역학과 높은 자유도로 인해 제어가 어려운 동적 옷감 조작에서의 시뮬레이션과 실제 환경 간 격차를 해소하기 위해.
• 실제 환경에서의 보정 없이도 시뮬레이션에서 학습된 정책을 실제 세계로 제로샷 전이할 수 있도록 하기 위해.
• 시각 피드백만으로도 복잡한 옷감 역학을 위한 효과적인 정책 학습이 가능한지 조사하기 위해.
• 실제 다양한 옷감 행동을 시뮬레이션하는 데에 물리적 성질의 무작위화가 얼마나 효과적인지 평가하기 위해.

제안 방법

• 상태나 자세 정보의 지도 없이 시각 피드백만을 사용하여 물리 시뮬레이터에서 강화학습을 통해 정책을 학습시키기 위해.
• 정책의 강건성과 일반화 능력을 향상시키기 위해 시뮬레이션에서 물리적 성질(예: 강성, 마찰 계수)을 무작위화하기 위해.
• 고정밀한 변형과 상호작용을 구현하기 위해 가시성 있는 물리 엔진을 사용하여 현실적인 옷감 역학을 시뮬레이션하기 위해.
• 정책 학습이 원하는 옷감 구성으로 향하도록 시각적 관측의 차이를 기반으로 보상 함수를 설계하기 위해.
• 훈련 중에 조명, 질감, 물리적 성질의 변형을 시뮬레이션하기 위해 도메인 무작위화 기법을 사용하기 위해.

실험 결과

연구 질문

• RQ1 시뮬레이션에서 시각 피드백만으로도 동적 옷감 조작을 위한 효과적인 정책 학습이 가능한가?
• RQ2 시뮬레이션에서 물리적 성질을 무작위화하면 실제 옷감 조작으로의 제로샷 전이가 향상되는가?
• RQ3 시뮬레이션에서 학습된 정책이 다양한 실제 옷감 유형으로 얼마나 잘 일반화되는가?
• RQ4 상태나 자세 지도 없이 정책 성능에 어떤 영향을 미치는가?

주요 결과

• 시각 피드백만을 사용해 학습된 정책가 제로샷 방식으로 실제 세계로 성공적으로 전이되었다.
• 물리적 성질의 무작위화가 다양한 실제 옷감 유형으로의 일반화 능력을 크게 향상시켰다.
• 실제 환경에서의 보정 없이도 다양한 옷감의 동적 조작을 성공적으로 달성하였다.
• 실제 배포 시 옷감의 강성, 마찰 계수, 질감의 변형에 대해 뛰어난 강건성을 보였다.