[논문 리뷰] High Acceleration Reinforcement Learning for Real-World Juggling with Binary Rewards

Kai Ploeger, Michael Lutter외 1명|arXiv (Cornell University)|2020. 10. 26.

Reinforcement Learning in Robotics인용 수 13

한 줄 요약

이 논문은 바리에이션된 WAM 로봇이 이진 보상만을 사용하여 실제 세계에서 고가속도 이중 볼 재잘질이 가능한 샘플 효율적이고 안전을 고려한 강화학습 시스템을 제시한다. 임무에 특화된 정책 초기화, 공 ingeering에 기반한 정책 표현, 그리고 KL 제약이 있는 정책 최적화를 통합함으로써, 이 시스템은 실제 경험 56분 후에 최대 33분간 연속 재잘질(4,500회 이상의 캐치)을 달성하였으며, 수동으로 튜닝된 정책을 뛰어넘는 성능을 보였다.

ABSTRACT

Robots that can learn in the physical world will be important to en-able robots to escape their stiff and pre-programmed movements. For dynamic high-acceleration tasks, such as juggling, learning in the real-world is particularly challenging as one must push the limits of the robot and its actuation without harming the system, amplifying the necessity of sample efficiency and safety for robot learning algorithms. In contrast to prior work which mainly focuses on the learning algorithm, we propose a learning system, that directly incorporates these requirements in the design of the policy representation, initialization, and optimization. We demonstrate that this system enables the high-speed Barrett WAM manipulator to learn juggling two balls from 56 minutes of experience with a binary reward signal. The final policy juggles continuously for up to 33 minutes or about 4500 repeated catches. The videos documenting the learning process and the evaluation can be found at https://sites.google.com/view/jugglingbot

연구 동기 및 목표

• 비선형 역학과 액추에이터 제한으로 인해 시뮬레이션으로는 부적합한 고가속도 물리 작업(예: 재잘질)을 위한 안전하고 샘플 효율적인 강화학습 시스템 개발.
• 실패 시 손상 위험이 있고 샘플 효율성이 핵심인 실제 로봇에서 희박한 이진 보상으로 학습하는 문제 해결.
• 도메인 전문 지식을 정책 표현, 초기화, 최적화에 통합함으로써 순수 강화학습이 실패하는 실제 세계 학습을 성공적으로 수행할 수 있음을 입증.
• 시뮬레이션이나 풍부한 보상에 의존하지 않고도 실제 로봇에서 복잡한 동적 조작 작업(이중 볼 재잘질)을 학습할 수 있음을 검증.

제안 방법

• 전문 지식에 기반한 임무에 특화된 정책 초기화를 사용하여 로봇이 학습에 필요한 초기 단계의 기본적인 캐치를 달성할 수 있도록 한다.
• 이진 보상 신호를 사용한다—재잘질이 10초 동안 지속되면 1, 그렇지 않으면 0—보상 형태를 조정하지 않고 성공/실패에 집중한다.
• KL 발산 제약 값이 2인 eREPS를 사용하여 안정적인 정책 최적화를 실현하며, 치명적인 업데이트를 방지하고 점진적인 향상을 보장한다.
• 20개의 에피소드 동안 정책을 훈련시키며, 각 에피소드는 25개의 무작위로 샘플된 파라미터로 구성되며, 환경 오류로 인해 손상된 경우 재실행된다.
• 끝단 구동 장치는 수동 안정성을 포함하여 미세한 외부 간섭에 대응할 수 있도록 설계되어 실행 중 안정성을 향상시킨다.
• 최종 정책는 재현성과 성능 평가를 위해 30회의 결정론적 롤아웃을 통해 평가되며, 장기적인 재잘질 능력은 최대 33분 동안 테스트된다.

실험 결과

연구 질문

• RQ1 이진 보상만을 사용하여 실제 로봇에서 고가속도 동적 조작 작업(예: 이중 볼 재잘질)을 학습할 수 있는가?
• RQ2 공학적 지식과 임무에 특화된 지식을 정책 표현 및 최적화에 어떻게 통합하여 실제 세계의 강화학습에서 샘플 효율성과 안전성을 향상시킬 수 있는가?
• RQ3 고가속도 및 엄격한 안전 제약 조건을 가진 물리 시스템에 적용할 경우, 현재의 딥 강화학습 알고리즘의 한계는 무엇인가?
• RQ4 학습된 정책가 수동 튜닝된 정책보다 실제 실행에서 재잘질의 일관성과 지속 시간 측면에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 로봇은 실제 경험 56분 후에 최대 33분간 연속 재잘질(4,500회 이상의 캐치)을 달성하여 놀라운 샘플 효율성을 입증하였다.
• 최종 학습된 정책는 30회의 결정론적 롤아웃에서 평균 재잘질 지속 시간이 106.82초를 기록하였으며, 이는 수동 튜닝된 정책의 평균 66.51초를 크게 초월하였다.
• 에피소드 10부터는 일관되게 10초 재잘질 에피소드를 달성하였고, 에피소드 20에서는 25개의 모든 파라미터에서 완벽한 성공을 기록하였다.
• 끝단 구동 장치의 수동 안정성 덕분에 미세한 환경 변화에 대응하여 회복할 수 있는 뛰어난 내구성을 보였다.
• 학습된 정책는 수동 튜닝된 정책보다 더 높은 재현성을 보였으며, 이는 데이터 기반 최적화가 수동 튜닝보다 유리함을 시사한다.
• 이 연구는 비선형 액추에이터 거동과 고가속도에서의 모델링되지 않은 케이블 역학으로 인해 시뮬레이션 기반 접근 방식이 이 작업에 실패함을 확인하였다.