[논문 리뷰] Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations

Aravind Rajeswaran, Vikas Kumar외 5명|arXiv (Cornell University)|2017. 09. 28.

Robot Manipulation and Learning인용 수 4

한 줄 요약

이 논문은 24-DoF 로봇 손을 사용한 복잡한 민감한 조작 작업의 샘플 효율적인 학습을 가능하게 하기 위해 인간의 시연를 정책 그래디언트 학습에 통합하는 딥 강화학습 방법인 DAPG를 제안한다. 행동 복제를 통한 사전 학습과 정규화된 손실을 통한 미세 조정을 통해 DAPG는 로봇 경험 5시간 이내로 샘플 복잡도를 감소시켜, 보상 조정 기반 보다 더 강건하고 인간과 유사한 운동을 보이는 정책을 도출한다.

ABSTRACT

Dexterous multi-fingered hands are extremely versatile and provide a generic way to perform a multitude of tasks in human-centric environments. However, effectively controlling them remains challenging due to their high dimensionality and large number of potential contacts. Deep reinforcement learning (DRL) provides a model-agnostic approach to control complex dynamical systems, but has not been shown to scale to high-dimensional dexterous manipulation. Furthermore, deployment of DRL on physical systems remains challenging due to sample inefficiency. Consequently, the success of DRL in robotics has thus far been limited to simpler manipulators and tasks. In this work, we show that model-free DRL can effectively scale up to complex manipulation tasks with a high-dimensional 24-DoF hand, and solve them from scratch in simulated experiments. Furthermore, with the use of a small number of human demonstrations, the sample complexity can be significantly reduced, which enables learning with sample sizes equivalent to a few hours of robot experience. The use of demonstrations result in policies that exhibit very natural movements and, surprisingly, are also substantially more robust.

연구 동기 및 목표

• 24-DoF 로봇 손을 사용한 고차원 민감한 조작 작업에 대해 모델-프리 딥 강화학습이 확장되도록 하기.
• 실제 세계 배포에 가능성이 있는 수준으로 민감한 조작을 위한 딥 강화학습의 샘플 복잡도를 감소시키기.
• 시연를 통한 인간 사전 지식을 통합하여 정책의 강건성과 자연스러움을 향상시키기.
• 향후 로봇 조작 및 강화학습 연구를 위한 복잡한 민감한 조작 작업의 벤치마크 세트를 구축하기.

제안 방법

• 가상 현실을 통해 수집한 소량의 인간 시연 데이터를 기반으로 행동 복제를 사용해 정책을 사전 학습한다.
• 시연를 재생 버퍼에 통합하고, 시연된 행동에 가까이 유지하기 위해 정규화를 적용하는 DAPG의 변종인 DDPG를 사용해 정책을 미세 조정한다.
• 샘플 효율성과 훈련 안정성을 향상시키기 위해 우선순위 기반 경험 재생과 n단계 리턴을 사용한다.
• 학습된 정책가 시연된 궤적에 가까이 있도록 유지하기 위해 정책 그래디언트 목표에 정규화 항을 추가한다.
• 물체의 크기와 질량 등 다양한 물리적 성질을 가진 환경의 앙상블에서 정책을 훈련시어 강건성을 명시적으로 향상시킨다.
• 희소한 작업 완료 보상만을 사용해 네 가지 복잡한 작업(물체 이동, 손안에서 조작, 도구 사용, 문 열기)에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 수동으로 설계된 보상 조정에 의존하지 않고 모델-프리 딥 강화학습이 24-DoF 로봇 손을 사용한 복잡한 민감한 조작 작업을 해결할 수 있는가?
• RQ2 고차원 제어 환경에서 민감한 조작 정책 학습에 있어 인간의 시연가 샘플 복잡도를 얼마나 효과적으로 감소시키는가?
• RQ3 시연를 통한 학습 정책이 보상 조정으로부터 시작한 정책보다 더 강건하고 인간과 유사한 운동을 보이는가?
• RQ4 다양한 물리적 성질을 가진 환경의 앙상블에서 훈련하면 민감한 조작에서 정책의 강건성이 더 향상되는가?
• RQ5 기존의 DRL 기반 방법인 DDPGfD에 비해 DAPG 알고리즘이 고차원 민감한 조작 작업에서 유의미하게 샘플 효율성이 높은가?

주요 결과

• DAPG는 보상 조정을 통해 처음부터 학습하는 것에 비해 샘플 복잡도를 최대 30배 감소시켜 로봇 경험 5시간 이내로 훈련을 가능하게 한다.
• DAPG로 훈련된 정책는 물체 질량과 크기의 변화와 같은 환경 변화에 대해 보상 조정으로 훈련된 정책보다 유의미하게 더 강건한 성능을 보인다.
• 시연의 사용은 더 부드럽고 인간과 유사한 운동을 생성하는 정책를 만들어내며, 이는 보상 조정만으로는 쉽게 지정하기 어려운 특성이다.
• DAPG는 네 가지 벤치마크 작업 전반에서 DDPGfD를 능가하며, 더 빠른 수렴과 뛰어난 최종 성능을 보였다.
• 다양한 물리적 성질을 가진 환경의 앙상블에서 훈련함으로써 강건성이 더욱 향상되었으며, 기존 기반 방법이 실패하는 이 도전적인 설정에서도 DAPG는 성공적으로 정책을 학습했다.
• 제안된 물체 이동, 손안에서 조작, 도구 사용, 문 열기의 벤치마크 세트는 향후 민감한 조작 연구를 위한 현실적이고 도전적인 시험장이 된다.