[논문 리뷰] Deep Imitation Learning of Sequential Fabric Smoothing From an Algorithmic Supervisor

Daniel Seita, Aditya Ganapathi외 12명|arXiv (Cornell University)|2019. 09. 23.

Robot Manipulation and Learning참고 문헌 47인용 수 9

한 줄 요약

이 논문은 시뮬레이션 환경에서 알고리즘 감독자를 활용하여 순차적인 천 평탄화를 위한 로봇 정책을 훈련하기 위한 딥 일임레이션 학습 프레임워크를 제안한다. RGB, 깊이 또는 RGBD 입력을 사용하여 도메인 랜덤라이제이션과 DAgger를 활용함으로써, 물리적 da Vinci 로봇에서 83–95%의 커버리지 성능을 달성하였으며, 이는 RGB만으로는 복잡하고 매우 주름지며 뒤틀린 천에 대해 성능이 떨어지는 데 비해 깊이 감지 기술이 성능 향상에 크게 기여함을 보여준다.

ABSTRACT

Sequential pulling policies to flatten and smooth fabrics have applications from surgery to manufacturing to home tasks such as bed making and folding clothes. Due to the complexity of fabric states and dynamics, we apply deep imitation learning to learn policies that, given color (RGB), depth (D), or combined color-depth (RGBD) images of a rectangular fabric sample, estimate pick points and pull vectors to spread the fabric to maximize coverage. To generate data, we develop a fabric simulator and an algorithmic supervisor that has access to complete state information. We train policies in simulation using domain randomization and dataset aggregation (DAgger) on three tiers of difficulty in the initial randomized configuration. We present results comparing five baseline policies to learned policies and report systematic comparisons of RGB vs D vs RGBD images as inputs. In simulation, learned policies achieve comparable or superior performance to analytic baselines. In 180 physical experiments with the da Vinci Research Kit (dVRK) surgical robot, RGBD policies trained in simulation attain coverage of 83% to 95% depending on difficulty tier, suggesting that effective fabric smoothing policies can be learned from an algorithmic supervisor and that depth sensing is a valuable addition to color alone. Supplementary material is available at https://sites.google.com/view/fabric-smoothing.

연구 동기 및 목표

• 복잡하고 매우 주름지며 뒤틀린 상태의 천 평탄화를 위한 강건하고 이식 가능한 정책 개발
• RGB, 깊이(D), RGBD 입력이 천 커버리지 최적화를 위한 정확한 픽-앤퍼르 동작을 수행하는 데 얼마나 효과적인지 조사
• 도메인 랜덤라이제이션과 DAgger를 활용하여 시뮬레이션에서 훈련된 정책을 물리적 da Vinci 수술 로봇으로 제로샷 전이 가능하게 구현
• 세 단계의 초기 천 복잡도 수준에서 학습된 정책의 성능을 분석적 기반 방법과 비교 평가
• 깊이 전용 정책의 실패 원인을 규명하고, RGB와 깊이를 조합함으로써 더 높은 강건성을 확보할 수 있음을 보여줌

제안 방법

• 유한요소법(FEM) 기반의 천 시뮬레이터가 정책 훈련을 위한 현실적인 천 역학 및 상태를 생성한다.
• 전체 상태 접근이 가능한 알고리즘 감독자가 일임 학습을 위한 전문가 시뮬레이션을 제공하며, 커버리지 최적화를 위해 최적의 픽 포인트와 풀 벡터를 선택한다.
• 색상 및 깊이 모odalities에 도메인 랜덤라이제이션을 적용하여 시뮬레이션에서 실제 환경으로의 일반화 성능 향상
• 롤아웃 중 감독자에게 질의하여 정책을 반복적으로 개선하는 DAgger를 사용하여 다양한 초기 상태에 대한 강건성 향상
• 초기 천 구성의 세 가지 난이도 수준(약간 주름지거나 매우 주름진 상태)에서 정책을 훈련
• RGB, D, RGBD 이미지 관측치를 정책 네트워크의 입력으로 사용하며, 모달리티 효과성 비교를 위한 아블레이션 연구 수행

실험 결과

연구 질문

• RQ1 알고리즘 감독자를 활용해 시뮬레이션 환경에서 훈련된 딥 일임레이션 학습 정책이 물리적 로봇에서 높은 천 커버리지 성능를 달성할 수 있는가?
• RQ2 RGB 전용 입력에 비해 깊이 감지(D 또는 RGBD)를 포함했을 때 커버리지 성능 및 강건성에서 어떤 차이가 있는가?
• RQ3 초기 천 복잡도(세 단계 난이도)가 정책 성능 및 일반화 능력에 어떤 영향을 미치는가?
• RQ4 왜 깊이 전용 정책는 때로 실패하는가? RGBD 입력은 이러한 실패를 어떻게 완화하는가?
• RQ5 도메인 랜덤라이제이션과 DAgger는 천 평탄화 작업에 대해 효과적인 시뮬레이션에서 실제 환경으로의 전이를 얼마나 가능하게 하는가?

주요 결과

• da Vinci Research Kit를 활용한 물리 실험에서 RGBD 정책는 난이도 수준 전반에서 83%에서 95%의 커버리지 성능를 기록하였으며, RGB 및 D 정책보다 뛰어난 성능를 보였다.
• 가장 쉬운 초기 설정(티어 1)에서 20회 실험 전부에서 RGBD 정책는 92%의 커버리지 성능를 기록하였으며, RGB 전용 정책와 동일한 성능를 달성했다.
• 가장 복잡한 초기 설정(티어 3)에서 RGBD 정책는 최고의 최종 커버리지(89.8%)와 베이스라인 대비 가장 높은 순수 증가량(33.4%)을 기록하였으며, RGB 정책(25.2%)과 D 정책(7.8%)을 모두 초월했다.
• 깊이 전용 정책는 기존에 평탄한 천의 중심 근처를 당기는 등 역기능적인 동작를 보이며 커버리지 감소를 유도하는 것으로 실패 사례에서 확인되었다.
• RGB와 깊이의 조합(RGBD)은 특히 숨겨진 모서리가 많은 매우 주름지며 복잡한 천에서 강건성과 정밀 조정 능력을 크게 향상시켰다.
• 실제 이미지 훈련 없이도 시뮬레이션에서 훈련된 정책가 효과적으로 현실 세계로 전이되었으며, 이는 도메인 랜덤라이제이션과 DAgger가 시뮬레이션에서 실제 환경으로의 천 조작 전이에 효과적임을 입증한다.