[논문 리뷰] Sim-to-Real Reinforcement Learning for Deformable Object Manipulation

Jan Matas, Stephen James외 1명|arXiv (Cornell University)|2018. 06. 20.

Robot Manipulation and Learning참고 문헌 24인용 수 101

한 줄 요약

본 논문은 변형가능물체 조작 정책(천)을 강화된 DDPG 프레임워크를 사용해 도메인 무작위화로 시뮬레이션에서 전적으로 학습한 뒤 추가 학습 없이 실제 세계로 전이하고 세 가지 작업에서 성공을 시연한다.

ABSTRACT

We have seen much recent progress in rigid object manipulation, but interaction with deformable objects has notably lagged behind. Due to the large configuration space of deformable objects, solutions using traditional modelling approaches require significant engineering work. Perhaps then, bypassing the need for explicit modelling and instead learning the control in an end-to-end manner serves as a better approach? Despite the growing interest in the use of end-to-end robot learning approaches, only a small amount of work has focused on their applicability to deformable object manipulation. Moreover, due to the large amount of data needed to learn these end-to-end solutions, an emerging trend is to learn control policies in simulation and then transfer them over to the real world. To-date, no work has explored whether it is possible to learn and transfer deformable object policies. We believe that if sim-to-real methods are to be employed further, then it should be possible to learn to interact with a wide variety of objects, and not only rigid objects. In this work, we use a combination of state-of-the-art deep reinforcement learning algorithms to solve the problem of manipulating deformable objects (specifically cloth). We evaluate our approach on three tasks --- folding a towel up to a mark, folding a face towel diagonally, and draping a piece of cloth over a hanger. Our agents are fully trained in simulation with domain randomisation, and then successfully deployed in the real world without having seen any real deformable objects.

연구 동기 및 목표

• 강체 물체 조작을 넘어서는 도전 과제로서 변형가능 물체 조작을 제시한다.
• 다음의 최소한의 보상 형상을 가진 완전한 시뮬레이션 기반 RL 파이프라인을 개발한다.
• 도메인 무작위화를 통해 변형가능 물체 정책의 시뮬레이션-실세계 전이를 가능하게 한다.
• 다양한 천 조작 작업에서 평가하고 전이 성능을 분석한다.

제안 방법

• 시연(데모)와 다수의 확장을 활용한 개선된 Deep Deterministic Policy Gradients (DDPG) 프레임워크를 사용해 연속 제어 정책을 학습한다.
• 희소 보상 구조를 사용하여 시뮬레이션에서 세 가지 변형가능 물체 작업(테이프 접기, 매달기, 대각선 접기)을 학습한다.
• 학습의 안정화를 위해 시연(DDPGfD)과 Q-filter, N-step 반환, TD3에서 영감을 받은 타깃을 포함한 행동 복제(Behavioural Cloning)를 도입한다.
• 시뮬레이트-실제전이를 가능하게 하려면 질감, 색상, 조명, 기하학 및 카메라 매개변수에 도메인 무작위화를 적용한다.
• 액터가 고차원 RGB 관측치를 사용하고 크리틱이 저차원 상태 정보를 사용하는 비대칭 액터-크리틱 설정을 활용한다.
• 네트워크가 주요 장면 특징(천 모서리, 테이프 위치, 행거 위치)을 인식하도록 보조 예측 손실(auxiliary prediction losses)을 활용한다.
• 추가적인 실제 학습 없이 저가 카메라를 갖춘 실제 Kinova Mico 팔로의 전이를 평가한다.

실험 결과

연구 질문

• RQ1 도메인 무작위화를 포함한 엔드투엔드 RL이 실제 대상 물체 학습 없이 시뮬레이션에서 실제 세계로 변형가능 물체 조작 정책을 전이할 수 있는가?
• RQ2 희소 보상 하에서 천 조작 학습을 가장 효과적으로 가능하게 하는 RL 개선점은 무엇인가(데모, N-step 반환, BC, TD3-스타일 타깃 등)?
• RQ3 도메인 무작위화 설정이 천 조작의 시뮬레이션-실세계 전이에 어떤 영향을 미치는가?
• RQ4 천 조작에 대한 학습된 정책의 실제 실행에서 주요 실패 모드는 무엇인가?
• RQ5 전이 성능을 제한하는 요인과 이를 완화하는 방법은 무엇인가?

주요 결과

작업	Sim 성공률(Table 1)	실세계 지표(Table 2 맥락)
Diagonal Folding	90%	Notable gripper success and not-crumpled/not-crumpled related metrics; full success 46.6% in Hanging; 40-90% range for intermediate metrics across tasks

• 도메인 무작위화를 사용한 시뮬레이션 학습 후 3개의 실-시뮬 전이 가능한 작업을 달성했다.
• 시뮬레이션에서 통합 방법은 대각선 접기에 대해 90%, 매달기에 대해 77%, 테이프 접기에 대해 86%(성공률)을 달성했다.
• 실세계 실험에서 정책은 물건을 집기, 테이프 근처 또는 늘어뜨림 목표에서 주목할 만한 성공을 거두었고, 작업별로 전체 성공률은 다르게 나타났다(예: Hanging에서 실세계 전체 성공 46.6%, 작업 간 중간 지표 40-90%).
• 보조 예측, 행동 복제, 시연 우선순위가 성능에 긍정적 기여를 했으며, 시연으로의 재설정 및 저차원 액터 입력 제거는 덜 이로웠다.
• 강한 무작위화는 전이 성능에 방해가 될 수 있으며, 카메라 무작위화는 성공적인 시뮬레이션-실제 전송에 필수적이다; 깊이 인식의 한계와 천의 변형성으로 인해 정밀한 파악은 여전히 주요 실패 모드이다.
• 본 접근법은 변형가능 물체에 대한 엔드투엔드 RL과 도메인 무작위화를 통해 시뮬레이션-실제 전이가 가능함을 시연하며 변형가능 물체 조작 연구의 격차를 해소한다.