[논문 리뷰] Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates

Shixiang Gu, Ethan Holly외 2명|arXiv (Cornell University)|2016. 10. 03.

Reinforcement Learning in Robotics인용 수 40

한 줄 요약

이 논문은 복잡한 3차원 로봇 조작 작업을 위한 깊이 신경망 정책의 샘플 효율적인 훈련을 가능하게 하는, 정규화된 이점 함수(Normalized Advantage Function, NAF) 알고리즘의 새로운 변종을 사용하는 异步적 오프-폴리시 딥 강화학습 방법을 제안한다. 이 방법은 여러 로봇을 활용해 실세계에서 3시간 이내에 직접적으로 도어 열기 작업을 습득하며, 인간의 시범이나 수작업으로 설계된 표현 없이도 직접적인 딥 강화학습이 물리적 시스템에서 실용적임을 입증한다.

ABSTRACT

Reinforcement learning holds the promise of enabling autonomous robots to learn large repertoires of behavioral skills with minimal human intervention. However, robotic applications of reinforcement learning often compromise the autonomy of the learning process in favor of achieving training times that are practical for real physical systems. This typically involves introducing hand-engineered policy representations and human-supplied demonstrations. Deep reinforcement learning alleviates this limitation by training general-purpose neural network policies, but applications of direct deep reinforcement learning algorithms have so far been restricted to simulated settings and relatively simple tasks, due to their apparent high sample complexity. In this paper, we demonstrate that a recent deep reinforcement learning algorithm based on off-policy training of deep Q-functions can scale to complex 3D manipulation tasks and can learn deep neural network policies efficiently enough to train on real physical robots. We demonstrate that the training times can be further reduced by parallelizing the algorithm across multiple robots which pool their policy updates asynchronously. Our experimental evaluation shows that our method can learn a variety of 3D manipulation skills in simulation and a complex door opening skill on real robots without any prior demonstrations or manually designed representations.

연구 동기 및 목표

• 인간의 시범이나 작업 특화 정책 표현 없이도 실제 물리적 로봇에서 복잡한 3차원 로봇 조작 작업을 위한 직접적인 딥 강화학습을 가능하게 하기 위해.
• 기존에 실세계 로봇 시스템에서 딥 강화학습과 관련하여 전통적으로 지적되어 온 높은 샘플 복잡성 문제를 해결하기 위해.
• 다중 로봇 플랫폼 간의 이방적이고 병렬적인 학습을 통해 복잡한 조작 작업의 훈련 시간을 단축하기 위해.
• 복잡한 조작 작업에서 깊이 신경망 정책이 더 단순한 선형 표현보다 얼마나 효과적인지 검증하기 위해.

제안 방법

• 공동 정책을 비동기적으로 독립적으로 업데이트할 수 있도록 허용하는 정규화된 이점 함수(Normalized Advantage Function, NAF) 알고리즘의 이방적 변종을 제안한다.
• 경험 재생을 사용하는 오프-폴리시 딥 Q-함수 훈련을 통해 데이터 효율성과 학습 안정성을 향상시킨다.
• 작업 특화 아키텍처 수정이나 수작업으로 설계된 특징 없이도 일반 목적의 깊이 신경망 정책을 사용한다.
• 훈련 중 탐색을 제약하는 안전 메커니즘을 도입하여 실세계 구현에서 리스크를 감소시킨다.
• 중앙집중식 재생 버퍼에 다수의 로봇에서 수집한 경험을 취합하여 다양한 경험 수집과 병렬성 덕분에 더 빠른 수렴을 가능하게 한다.
• 목표 지점까지의 거리, 도어 자세 오차 등 연속적인 피드백을 제공하는 조밀하고 형태가 조정된 보상 함수를 사용하여 이진 보상 외의 피드백을 통해 학습을 이끌어낸다.

실험 결과

연구 질문

• RQ1 고차원의 동작 및 관측 공간을 가진 실세계 로봇 조작 작업에 대해 NAF와 같은 오프-폴리시 딥 강화학습 알고리즘이 확장 가능한가?
• RQ2 이방적이고 다중 로봇 병렬 훈련이 복잡한 3차원 조작 작업의 샘플 복잡성과 훈련 시간을 크게 감소시키는가?
• RQ3 딥 신경망 정책이 인간의 시범이나 작업 특화 표현 없이도 도어 열기와 같은 복잡한 기술을 습득할 수 있는가?
• RQ4 샘플 효율성과 최종 성능 측면에서 깊이 신경망 정책이 단순한 선형 정책보다 얼마나 우수한가?
• RQ5 다수의 로봇에서 온 경험의 다양성이 정책 일반화 능력과 학습 속도에 어떤 영향을 미치는가?

주요 결과

• 제안된 이방적 NAF 알고리즘은 두 대의 병렬 워커를 사용해 실로봇에서 도어 열기 정책을 약 2.5시간 내에 훈련시켰으며, 20번 연속 시험에서 100% 성공률을 달성했다.
• 단일 로봇으로는 동일한 작업를 100% 성공으로 이르기까지 4시간 이상 소요되었으며, 이는 병렬화로 인한 뚜렷한 속도 향상을 입증한다.
• 이 방법은 인간의 시범이나 수작업으로 설계된 정책 표현 없이도 시뮬레이션과 실제 로봇에서 도어 열기 및 피크앤플레이스와 같은 복잡한 3차원 조작 작업을 성공적으로 학습시켰다.
• 샘플 효율성과 복잡한 조작 작업에서의 최종 성능 측면에서 깊이 신경망 정책이 더 단순한 선형 표현보다 뛰어났다.
• 학습 곡선은 단계적 진행을 보였다: 초기 탐색, 손잡이에 산발적인 접촉, 그리고 결국 견고하고 일관된 정책의 출현.
• 이 방법은 오프-폴리시 알고리즘을 사용하고 효율적인 경험 재사용 및 병렬화를 통해 높은 샘플 복잡성이 실세계 딥 강화학습의 본질적 장벽이 아니라는 것을 입증했다.