[논문 리뷰] Evaluation of Deep Reinforcement Learning Methods for Modular Robots

Risto Kojcev, Nora Etxezarreta외 2명|arXiv (Cornell University)|2018. 02. 07.

Reinforcement Learning in Robotics참고 문헌 1인용 수 4

한 줄 요약

이 논문은 모듈러 로봇에서 엔드투엔드 딥 강화학습(DRL)을 위한 새로운 ROS 및 Gazebo 기반 프레임워크를 제안하며, 관절 상태에서 직접 학습하고 시뮬레이션에서 실제 환경으로의 원활한 전이를 가능하게 한다. 시뮬레이션 시간을 1ms로 가속화함으로써 정책 수렴과 실제 성능이 크게 향상됨을 입증하였으며, PPO 기반 에이전트는 기계적 복잡도가 증가함에도 불구하고 3DoF 및 4DoF 스크라 로봇에서 종단 효과기 오차가 25mm 이내로 유지됨을 보였다.

ABSTRACT

We propose a novel framework for Deep Reinforcement Learning (DRL) in modular robotics using traditional robotic tools that extend state-of-the-art DRL implementations and provide an end-to-end approach which trains a robot directly from joint states. Moreover, we present a novel technique to transfer these DLR methods into the real robot, aiming to close the simulation-reality gap. We demonstrate the robustness of the performance of state-of-the-art DRL methods for continuous action spaces in modular robots, with an empirical study both in simulation and in the real robot where we also evaluate how accelerating the simulation time affects the robot's performance. Our results show that extending the modular robot from 3 degrees-of-freedom (DoF), to 4 DoF, does not affect the robot's learning. This paves the way towards training modular robots using DRL techniques.

연구 동기 및 목표

• ROS와 Gazebo와 같은 전통적 로봇 기술을 통합하여 DRL을 활용한 모듈러 로봇 학습의 확장성과 전이 문제를 해결하고자 한다.
• 학습된 정책을 직접 실제 하드웨어에 매핑하는 새로운 전이 기법을 통해 시뮬레이션과 실제 환경 간 격차를 해소하고자 한다.
• 다양한 자유도를 가진 모듈러 로봇에서 시뮬레이션 속도가 DRL 정책 성능에 미치는 영향을 평가하고자 한다.
• 최신 DRL 알고리즘인 PPO와 같은 기법을 사용해 관절 상태에서 모터 명령까지의 엔드투엔드 학습을 가능하게 하고자 한다.
• 3DoF에서 4DoF로 확장되는 모듈러 로봇 구성에 대해 DRL 방법의 강건성을 입증하고자 한다.

제안 방법

• 프레임워크는 물리 시뮬레이션을 위해 Gazebo를, 로봇 제어를 위해 ROS를 사용하여 DRL 에이전트와 시뮬레이션된 모듈러 로봇 간 실시간 상호작용을 가능하게 한다.
• 로봇 제어에 특화된 커스터마이징된 환경을 OpenAI Gym에 확장하여 관절 상태 입력과 액션 스페이스 출력을 지원한다.
• 프록시얼 정책 최적화(PPO)가 핵심 DRL 알고리즘으로 사용되며, 안정적인 학습을 위해 클리핑된 확률 비율 기반 정책 업데이트가 수행된다.
• 보상 함수는 종단 효과기 위치와 목표 간 정규화된 RMSE로 정의되며, 수렴을 유도하기 위해 조밀한 형태의 보상 설계가 적용된다.
• 학습 효율성과 실제 환경 전이에 미치는 영향을 분석하기 위해 궤적 실행 시간을 1초에서 1ms로 다양하게 설정한다.
• 가상 드라이버와 ROS 제어 노드를 사용하여 학습된 정책을 실제 3DoF 및 4DoF 스크라 로봇에 직접 배포한다.

실험 결과

연구 질문

• RQ1 시뮬레이션 시간을 가속화하면 모듈러 로봇 제어에서 DRL 정책의 수렴과 성능이 향상되는가?
• RQ2 시뮬레이션에서 학습된 PPO 기반 DRL 에이전트가 미세조정 없이 실제 환경의 모듈러 로봇으로 일반화 가능한가?
• RQ3 로봇의 자유도를 3DoF에서 4DoF로 증가시키면 학습 성능와 정책 일반화에 어떤 영향을 미치는가?
• RQ4 실제 하드웨어로 효과적으로 전이되는 DRL 정책을 학습하기 위한 최적의 시뮬레이션 속도는 무엇인가?
• RQ5 기존 로봇 기술(Robot Operating System, Gazebo)의 사용이 다양한 모듈러 로봇 구성에 대해 확장 가능하고 재사용 가능한 DRL 학습을 가능하게 하는가?

주요 결과

• 3DoF 로봇에서 PPO1과 PPO2 모두 1ms 궤적 실행 시간으로 학습했을 때 가장 뛰어난 성능를 기록하였으며, 목표까지 평균 유클리드 거리는 13.09±0.06 mm를 기록하였다.
• 4DoF 로봇의 경우 PPO1은 10ms 실행 시간에서 가장 낮은 오차(20.33±0.23 mm)를 기록하였고, PPO2는 1ms에서 최고 성능(58.19±0.03 mm)을 기록하였다.
• 1ms 시뮬레이션 속도로 학습한 PPO1과 PPO2는 1초 대비 더 빠른 수렴과 더 나은 실제 성능를 기록하여, 가속화된 시뮬레이션이 샘플 효율성을 향상시킴을 시사한다.
• 4DoF 로봇는 시뮬레이션 속도에 더 민감하게 반응하였으며, PPO1은 100ms에서, PPO2는 1초에서 성능이著격히 떨어져 시간 스케일링의 비단조화적 영향을 시사한다.
• 구조적 복잡도 증가에도 불구하고 3DoF에서 4DoF로의 확장은 학습 성능에 악영향을 주지 않아, DRL 프레임워크가 구조적 변화에 대해 강건함을 입증하였다.
• 최소한의 재구성으로도 학습된 정책를 실제 로봇에 직접 배포할 수 있었으며, 이는 엔드투엔드 전이 능력의 타당성을 검증하였다.