[논문 리뷰] ROS2Learn: a reinforcement learning framework for ROS 2

Yue Leire Erro Nuin, Nestor Gonzalez Lopez외 5명|arXiv (Cornell University)|2019. 03. 14.

Modular Robots and Swarm Intelligence참고 문헌 34인용 수 8

한 줄 요약

ROS2Learn는 PPO, TRPO, ACKTR와 같은 최신 알고리즘을 사용하여 모듈러 로봇 암의 엔드 투 엔드 학습을 가능하게 하는 ROS 2용 딥 강화 학습 프레임워크입니다. Gazebo 및 ROS 2와 통합되어 네 가지 MARA 로봇 환경에서 안정적인 학습과 PPO 및 TRPO 간의 유사한 성능를 보여주며, 동일한 초모수 설정 하에서 ACKTR는 학습 효율성이 제한됨을 확인했습니다.

ABSTRACT

We propose a novel framework for Deep Reinforcement Learning (DRL) in modular robotics to train a robot directly from joint states, using traditional robotic tools. We use an state-of-the-art implementation of the Proximal Policy Optimization, Trust Region Policy Optimization and Actor-Critic Kronecker-Factored Trust Region algorithms to learn policies in four different Modular Articulated Robotic Arm (MARA) environments. We support this process using a framework that communicates with typical tools used in robotics, such as Gazebo and Robot Operating System 2 (ROS 2). We evaluate several algorithms in modular robots with an empirical study in simulation.

연구 동기 및 목표

• 기존 강화 학습 파ip라인을 사용할 때 모듈러 로봇의 확장성과 복잡성 문제를 해결하기 위해.
• ROS 2와 Gazebo를 통합하여 모듈러 로봇에서 엔드 투 엔드 딥 강화 학습을 위한 통합 프레임워크를 개발하기 위해.
• PPO, TRPO, ACKTR와 같은 최신 정책 기반 알고리즘을 다양한 작업 목표를 가진 시뮬레이션된 모듈러 로봇 암에서 평가하기 위해.
• 로봇 시스템의 구조적 변화에 적응할 수 있는 이식 가능하고 모듈러한 정책 학습을 가능하게 하기 위해.
• 모듈러 로봇 학습에서 광범위한 보상 형태 조정이나 환경 재구성의 필요성을 줄이고 샘플 효율성을 향상시키기 위해.

제안 방법

• 프레임워크는 실시간 로봇 제어를 위해 ROS 2를 사용하고, 모듈러 관절 로봇 암(MARA)의 고정밀 시뮬레이션을 위해 Gazebo를 사용합니다.
• 세 가지 딥 강화 학습 알고리즘을 구현합니다: 근접 정책 최적화(Proximal Policy Optimization, PPO), 신뢰 영역 정책 최적화(Trust Region Policy Optimization, TRPO), 크로네커-분해 신뢰 영역을 사용한 액터-크리틱(Actor-Critic using Kronecker-Factored Trust Region, ACKTR).
• 각 알고리즘은 신경망 함수 근사기를 사용하여 관절 상태에서 직접 정책을 최적화하는 온정책 업데이트를 수행합니다.
• 환경은 커스터마이징된 Gym 호환 환경 인터페이스를 통해 정의되며, 네 가지 버전을 지원합니다: MARA-v0, MARAOrient-v0, MARACollision-v0, MARACollisionOrient-v0.
• 각 실험은 100만 단계 동안 학습되며, 도달, 방향 조정, 충돌 회피와 같은 작업 목표를 반영하도록 보상이 형태 조정됩니다.
• 기존 로봇 도구와의 원활한 통합을 지원하여, 시뮬레이션에서 실물 하드웨어로 정책을 최소한의 재구성으로 직접 배포할 수 있습니다.

실험 결과

연구 질문

• RQ1 PPO, TRPO, ACKTR는 관절 상태 관측만을 사용하여 모듈러 로봇 암에서 안정적이고 효율적인 학습을 달성할 수 있는가?
• RQ2 다양한 MARA 환경에서 PPO, TRPO, ACKTR의 샘플 효율성 및 최종 성능 특성은 어떻게 비교되는가?
• RQ3 프레임워크는 새로운 로봇 구성으로의 재학습 없이도 정책 학습의 이식 가능성을 어느 정도 향상시키는가?
• RQ4 ROS 2와 Gazebo의 통합은 표준 벤치마크 환경에 비해 모듈러 로봇을 위한 DRL 학습의 현실성과 확장성 향상에 기여하는가?
• RQ5 프레임워크는 광범위한 보상 형태 조정이나 환경 특화 도구 없이도 관절 상태에서 모터 명령으로의 엔드 투 엔드 학습을 지원할 수 있는가?

주요 결과

• PPO와 TRPO는 모든 MARA 환경에서 유사한 최종 성능를 기록하며, 비방향 작업에서는 TRPO가 초기 학습 단계에서 더 빠른 진전을 보입니다.
• MARACollisionOrient-v0 환경에서 TRPO는 학습의 후반부에 PPO를 능가하며, 복잡한 다중 목표 작업에 더 잘 적응하는 것으로 나타났습니다.
• ACKTR는 모든 환경에서 보상 향상이 거의 없었으며, PPO 및 TRPO와 비교해 수평선을 유지하며, 동일한 초모수 설정 하에서 샘플 효율성이 떨어지는 것으로 나타났습니다.
• 프레임워크는 표준 ROS 2 및 Gazebo 도구를 사용하여 모듈러 로봇 시스템에서 정책 최적화를 위한 딥 네트워크의 안정적 학습을 가능하게 했습니다.
• 결과는 PPO와 TRPO가 관절 상태 입력을 가진 고차원 연속 행동 공간에서 모듈러 로봇 제어에 효과적임을 확인했습니다.
• 연구는 초모수 조정과 알고리즘 선택의 중요성을 강조하였으며, ACKTR는 이론적으로 계산 효율성이 높지만 실제 성능는 최적화되지 않았습니다.