[논문 리뷰] Learning to Manipulate Deformable Objects without Demonstrations

Yilin Wu, Wilson Yan외 3명|arXiv (Cornell University)|2019. 10. 29.

Robot Manipulation and Learning참고 문헌 68인용 수 18

한 줄 요약

이 논문은 인간의 시연 없이 시각적 RGB 관측을 통해 천이나绳과 같은 유연 물체를 조작하기 위한 조건부 강화학습 프레임워크를 제안한다. 정책 학습을 분리함으로써 랜덤한 취득 지점으로서의 놓기 정책을 훈련하고, 놓기 작업에서의 최대 가치(MVP)를 사용해 취득 정책을 유추함으로써 학습 속도를 한 수준 빠르게 하고, 실제 PR2 로봇으로의 전이 성공을 이룩하여 커버리지 작업에서 기준 방법들을 능가한다.

ABSTRACT

In this paper we tackle the problem of deformable object manipulation through model-free visual reinforcement learning (RL). In order to circumvent the sample inefficiency of RL, we propose two key ideas that accelerate learning. First, we propose an iterative pick-place action space that encodes the conditional relationship between picking and placing on deformable objects. The explicit structural encoding enables faster learning under complex object dynamics. Second, instead of jointly learning both the pick and the place locations, we only explicitly learn the placing policy conditioned on random pick points. Then, by selecting the pick point that has Maximal Value under Placing (MVP), we obtain our picking policy. This provides us with an informed picking policy during testing, while using only random pick points during training. Experimentally, this learning framework obtains an order of magnitude faster learning compared to independent action-spaces on our suite of deformable object manipulation tasks with visual RGB observations. Finally, using domain randomization, we transfer our policies to a real PR2 robot for challenging cloth and rope coverage tasks, and demonstrate significant improvements over standard RL techniques on average coverage.

연구 동기 및 목표

• 모델-프리 강화학습에서 유연 물체 조작에 대한 샘플 비효율성 문제를 해결한다.
• 유연 물체의 복잡하고 비선형적인 역학과 표준 상태 표현의 부재로 인한 어려움을 극복한다.
• 인간의 시연 없이 원시 시각 관측에서 효과적인 조작 정책을 학습하는 방법을 개발한다.
• 조건부 동작 공간에서의 닭-계란 문제를 해결하기 위해 취득 및 놓기 정책 학습을 분리한다.
• 도메인 랜덤라이제이션과 시각 정책 유추를 사용해 실제 PR2 로봇에 정책을 성공적으로 구현한다.

제안 방법

• 취득과 놓기 동작 간의 조건부 관계를 명시적으로 모델링하는 반복적 취득-놓기 동작 공간을 도입한다.
• 랜덤한 취득 정책로 놓기 정책을 훈련함으로써 정책 붕괴를 방지하면서 정책 학습을 분리한다.
• 추론 시, 학습된 놓기 정책의 가치 함수를 사용해 최대 놓기 가치(MVP)를 통해 최적의 취득 지점을 추론한다.
• 일반화를 향상시키고 실세계 작업으로의 제로샷 전이를 가능하게 하기 위해 시뮬레이션에서 도메인 랜덤라이제이션을 적용한다.
• MoveIt! 운동 계획을 사용해 실로봇 구현을 위해 픽셀 공간 동작을 로봇 좌표계로 선형 매핑한다.
• RGB 이미지에서 직접 정책을 훈련하기 위해 시각 관측을 사용하는 액터-크리틱 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 취득-놓기 의존성을 모델링하는 조건부 동작 공간이 유연 물체 조작에서 샘플 효율성을 향상시키는가?
• RQ2 취득 정책과 분리된 놓기 정책 훈련이 조건부 RL에서의 닭-계란 문제를 완화하는가?
• RQ3 최대 놓기 가치(MVP) 전략이 명시적인 훈련 없이도 고품질의 취득 정책을 효과적으로 유추할 수 있는가?
• RQ4 도메인 랜덤라이제이션을 사용해 시뮬레이션에서 훈련된 정책이 다양한 유연 물체의 실세계 조작에 일반화되는가?
• RQ5 제안된 방법이 실로봇 작업에서 독립적 또는 공동 동작 공간 기준 방법보다 뛰어난 성능을 내는가?

주요 결과

• 제안된 방법은 시각 관측이 있는 유연 물체 조작 작업에서 독립적 동작 공간 기준 방법보다 한 수준 더 빠른 학습 속도를 달성한다.
• MVP 전략을 사용해 취득 정책을 추론함으로써, 랜덤한 취득 지점보다 훨씬 뛰어난 성능을 내며, 놓기 정책이 랜덤한 취득 지점으로 훈련된 경우에도 마찬가지로 성능 향상을 이룬다.
• 실제 PR2 로봇에서 MVP로 훈련된 정책은 옷 펼리기 작업에서 평균 커버리지 84%를 달성했으며, 공동 정책 기준 방법은 32%였다.
• 绳 펼리기 작업에서는 MVP 정책이 48%의 커버리지로 공동 정책(21%)과 독립 정책(16%)을 모두 능가했다.
• 도메인 랜덤라이제이션 덕분에 하나의 정책이 다양한 옷 색상과 물리적 성질에 대해 일반화되었으며, 시각적 및 물리적 도메인 이동에 대한 강건성을 입증했다.
• 이 방법은 미세조정 없이도 실세계로 성공적으로 전이되었으며, MVP와 도메인 랜덤라이제이션을 사용한 시각 정책 학습이 제로샷 실로봇 구현을 가능하게 한다는 것을 보여준다.