[논문 리뷰] Dexterous Manipulation with Deep Reinforcement Learning: Efficient, General, and Low-Cost

Henry Zhu, Abhishek Gupta외 3명|arXiv (Cornell University)|2018. 10. 14.

Robot Manipulation and Learning참고 문헌 26인용 수 19

한 줄 요약

이 논문은 모델리스 딥 강화학습(DRL)이 시뮬레이션 없이 실제 세계에서 직접 복잡하고 접촉이 많은 조작 작업—예를 들어 밸브 조작과 문 열기—을 수행할 수 있는 저비용의 다손지압 로봇 손을 훈련시킬 수 있음을 보여준다. 이 과정에서 4~7시간 내에 작업을 완료할 수 있었으며, 인간의 20회 시범 제공을 통해 훈련 시간을 2~3시간으로 단축시켜 DRL이 시뮬레이션 및 모델 기반 제어의 실용적이고 확장 가능한 대안임을 입증한다.

ABSTRACT

Dexterous multi-fingered robotic hands can perform a wide range of manipulation skills, making them an appealing component for general-purpose robotic manipulators. However, such hands pose a major challenge for autonomous control, due to the high dimensionality of their configuration space and complex intermittent contact interactions. In this work, we propose deep reinforcement learning (deep RL) as a scalable solution for learning complex, contact rich behaviors with multi-fingered hands. Deep RL provides an end-to-end approach to directly map sensor readings to actions, without the need for task specific models or policy classes. We show that contact-rich manipulation behavior with multi-fingered hands can be learned by directly training with model-free deep RL algorithms in the real world, with minimal additional assumption and without the aid of simulation. We learn a variety of complex behaviors on two different low-cost hardware platforms. We show that each task can be learned entirely from scratch, and further study how the learning process can be further accelerated by using a small number of human demonstrations to bootstrap learning. Our experiments demonstrate that complex multi-fingered manipulation skills can be learned in the real world in about 4-7 hours for most tasks, and that demonstrations can decrease this to 2-3 hours, indicating that direct deep RL training in the real world is a viable and practical alternative to simulation and model-based control. \url{https://sites.google.com/view/deeprl-handmanipulation}

연구 동기 및 목표

• 실세계 환경에서 복잡한 조작 작업을 수행할 수 있는 확장 가능하고 일반적인 방법을 개발하는 것.
• 모델 기반 제어나 작업 특화 정책 설계에 의존하지 않고, 종단 간 딥 강화학습을 통해 직접 훈련하는 것.
• 최소한의 사전 가정을 두고 직접 실세계 훈련의 실현 가능성과 효율성을 평가하는 것.
• 소량의 인간 시범이 실세계 DRL에서 학습을 얼마나 가속화할 수 있는지 조사하는 것.
• 제한된 센서 및 구동 능력을 지닌 저비용 일반형 로봇 하드웨어에서 고도의 민감한 조작을 실현할 수 있는지 검증하는 것.

제안 방법

• 모델리스 알고리즘을 사용하여 종단 간 딥 RL을 통해 정책을 훈련시키며, 작업 특화 모델 없이 원시 센서 관측값을 직접 모터 동작으로 매핑한다.
• 진동 감소 및 학습 안정성 향상으로 인해 토크 제어나 고차 제어 방식보다 위치 제어를 사용한 이유.
• 목표 지점까지의 거리 기반 보상 함수를 사용하여 수렴을 유도하며, 예를 들어 $ r_1 = -ig Vert heta - heta_{ ext{goal}} ig Vert_2 $ 와 같이 희소한 보상 형태로 설계한다.
• DAPG 알고리즘을 적용하고 인간의 운동 시범을 기반으로 한 정교화를 통해 정책 학습을 부스터링한다.
• 실세계 배포 이전에 시뮬레이션 환경에서 아블레이션 스터디를 수행하여 최적의 제어 방식과 보상 함수를 선별한다.
• 실제 하드웨어에서 직접 정책을 훈련시으며, 센서 노이즈, 액추에이터 지연, 기계적 불확실성 등의 특성을 그대로 반영한다.

실험 결과

연구 질문

• RQ1 모델리스 딥 강화학습은 시뮬레이션 없이도 실세계에서 직접 복잡하고 접촉이 많은 조작 행동을 학습할 수 있는가?
• RQ2 예를 들어 위치 제어 대비 토크 제어와 같은 제어 공간의 선택이 실세계 로봇 하드웨어에서의 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ3 소량의 인간 시범이 실세계 딥 RL에서의 샘플 복잡도를 얼마나 줄일 수 있는가?
• RQ4 다양한 보상 형태의 형태가 실세계 훈련에서 학습 속도와 정책 품질에 어떤 영향을 미치는가?
• RQ5 제한된 센서 및 액추에이터 능력을 지닌 저비용 일반형 로봇 손이 직접 실세계에서의 RL을 통해 고도의 민감한 조작을 수행할 수 있는가?

주요 결과

• 밸브 조작 및 블록 뒤집기와 같은 복잡한 다손지압 조작 작업이 시뮬레이션 없이 작업 보상만을 사용하여 실제 세계에서 4~7시간 내에 성공적으로 학습되었다.
• 위치 제어는 진동을 크게 감소시켜 더 안정적이고 빠른 학습을 가능하게 하였다. 토크 제어나 고차 제어 방식보다 유의미한 성능 향상이 있었다.
• 20회의 인간 시범을 제공함으로써 평균 훈련 시간이 4~7시간에서 2~3시간으로 단축되었으며, 샘플 효율성에서 2배의 가속도를 달성하였다.
• 희소한 밀도 보상(예: $ r_2 $)을 사용한 보상 형태의 형태가 제어 비용 페널티보다 학습 진전을 더 잘 향상시켰다. 후자는 탐색을 감소시키고 수렴 속도를 저하시켰다.
• 제어 비용을 고려하지 않은 정책도 실제 세계에서 안전하고 부드러운 행동을 생성하였으며, 위치 제어를 사용할 경우 제어 비용이 안전성 확보에 필수적인 요소가 아님을 시사한다.
• 이 방법은 다양한 저비용 로봇 손과 작업(고체 및 유연 물체 조작 포함)에 대해 일반화 가능하며, 광범위한 적용 가능성을 입증한다.