[논문 리뷰] Data-efficient Deep Reinforcement Learning for Dexterous Manipulation

Ivaylo Popov, Nicolas Heess외 8명|arXiv (Cornell University)|2017. 04. 10.

Reinforcement Learning in Robotics참고 문헌 25인용 수 117

한 줄 요약

이 논문은 데이터 효율적이고 확장 가능한 방법들—분산 비동기 학습, 가변 재생 단계, 보상/형상 전략—로 DDPG를 확장하여 시뮬레이션에서 엔드투엔드 손재주 조작 학습을 가능하게 하며, 10 million 환경 전환 미만으로 완전한 레고 적재 작업을 달성하고 잠재적으로 실제 로봇에서도 가능성을 시사한다.

ABSTRACT

Deep learning and reinforcement learning methods have recently been used to solve a variety of problems in continuous control domains. An obvious application of these techniques is dexterous manipulation tasks in robotics which are difficult to solve using traditional control theory or hand-engineered approaches. One example of such a task is to grasp an object and precisely stack it on another. Solving this difficult and practically relevant problem in the real world is an important long-term goal for the field of robotics. Here we take a step towards this goal by examining the problem in simulation and providing models and techniques aimed at solving it. We introduce two extensions to the Deep Deterministic Policy Gradient algorithm (DDPG), a model-free Q-learning based method, which make it significantly more data-efficient and scalable. Our results show that by making extensive use of off-policy data and replay, it is possible to find control policies that robustly grasp objects and stack them. Further, our results hint that it may soon be feasible to train successful stacking policies by collecting interactions on real robots.

연구 동기 및 목표

• 시뮬레이션에서 범용 모델-프리 RL 알고리즘을 사용한 손재주 조작의 엔드투엔드 학습 시연.
• 재생 일정 조정 및 분산 학습을 통해 데이터 효율성과 확장성 향상.
• 복잡한 구성 작업을 해결하기 위한 보상 형상 및 교육적 시작 상태 분포에 대한 실용적 지침 제공.

제안 방법

• 두 가지 데이터 효율성 개선: 네트워크 업데이트(재생 단계)의 독립 일정화와 다수 워커에 걸친 분산 비동기 구현(ADPG-R) 도입.
• 공유 파라미터를 갖는 여러 워커 간의 데이터 수집 및 네트워크 업데이트를 병렬화하기 위한 비동기 DPG 변형(ADPG-R) 도입.
• 학습 속도 및 데이터 효율성에 미치는 환경 단계당 미니배치 재생 업데이트 수의 변동 효과 평가.
• (1) 구성 작업을 위한 합성 형상 보상, (2) 목표지점 근처 시작 상태로부터의 학습을 통한 커리큘럼 유사 학습 신호 생성 등, 사전 지식을 주입하는 두 가지 일반 전략 제시.
• 9-자유도 팔이 레고 블록을 집고 쌓는 MuJoCo 설정에서 관찰 공간, 작동 공간 및 평가 프로토콜을 포함한 실험 설정 상세 제공.

실험 결과

연구 질문

• RQ1 데이터 효율적인 오프폴리시 깊은 RL이 시뮬레이션에서 복잡한 손재주 조작 작업을 엔드투엔드로 해결하는 데 사용될 수 있는가?
• RQ2 재생 업데이트 일정과 분산 학습이 조작 정책의 학습에서 데이터 및 실제 시간 효율성에 어떤 영향을 미치는가?
• RQ3 합성 형상 보상과 지시적 시작 상태가 희소 보상에 비해 다중 하위 작업(도달, 잡기, 축적)에 대한 학습 가능성을 향상시키는가?
• RQ4 손재주 작업에서 다수의 로봇으로 데이터 수집과 학습을 확장하기 위한 실용적 지침은 무엇인가?

주요 결과

• 처음부터 10 million 환경 전환 이하(16대 로봇에서 10시간 미만)으로 완전한 적재 작업을 시뮬레이션에서 학습하는 것이 가능하다.
• 환경 단계당 재생 업데이트를 1회 이상 사용할수록 데이터 효율성이 크게 향상되며, 일부 설정에서 200k–300k 상호작용 후 적재가 가능해진다.
• 여러 워커를 활용하는 비동기 ADPG-R은 데이터 효율성을 유지하면서 실제 시간 시간을 크게 줄일 수 있으며, 속도 향상은 과제에 따라 다르다.
• 전체 Stack 작업 해결에는 합성 형상 보상이 필요하며, 희소 보상만으로는 실패하고, 중간 보상(잡기, 도달)을 추가하면 학습 속도가 빨라지며, 완전한 구성이 성공을 담보한다.
• 지시적 시작 상태(예: 하위 목표에 더 가까운 시작 또는 해법 경로를 따라 시작)로부터의 학습은 탐색을 더욱 촉진하고 다양한 초기 조건에서 정책 학습을 가능하게 한다.