[논문 리뷰] gym-gazebo2, a toolkit for reinforcement learning using ROS 2 and Gazebo

Nestor Gonzalez Lopez, Yue Leire Erro Nuin외 5명|arXiv (Cornell University)|2019. 03. 14.

Reinforcement Learning in Robotics참고 문헌 21인용 수 25

한 줄 요약

이 논문은 ROS 2와 Gazebo 기반의 강화학습 툴킷인 gym-gazebo2를 소개한다. 이 툴킷은 로봇용으로 확장된 OpenAI Gym을 기반으로 하며, 마이크로미터 수준의 정밀도로 MARA와 같은 모듈식 로봇 암을 훈련시킬 수 있도록 한다. PPO를 사용한 정책 전이가 성공적으로 이루어졌으며, 충돌 회피 기능이 포함된 위치 및 자세 제어를 포함한 복잡한 작업에서 안정적인 수렴을 달성하였다.

ABSTRACT

This paper presents an upgraded, real world application oriented version of gym-gazebo, the Robot Operating System (ROS) and Gazebo based Reinforcement Learning (RL) toolkit, which complies with OpenAI Gym. The content discusses the new ROS 2 based software architecture and summarizes the results obtained using Proximal Policy Optimization (PPO). Ultimately, the output of this work presents a benchmarking system for robotics that allows different techniques and algorithms to be compared using the same virtual conditions. We have evaluated environments with different levels of complexity of the Modular Articulated Robotic Arm (MARA), reaching accuracies in the millimeter scale. The converged results show the feasibility and usefulness of the gym-gazebo 2 toolkit, its potential and applicability in industrial use cases, using modular robots.

연구 동기 및 목표

• ROS 2와 Gazebo를 사용하여 산업용 로봇을 위한 확장성 있고, 프로덕션 준비가 된 강화학습 프레임워크를 개발하기 위해.
• 기존 gym-gazebo의 한계를 극복하기 위해 소프트웨어 아키텍처를 재설계하여 사용성과 유지보수성 향상을 위해.
• 모듈식 관절형 로봇 암에서 일관된 가상 조건 하에서 강화학습 알고리즘의 벤치마킹을 가능하게 하기 위해.
• 정확한 시뮬레이션과 도메인 랜덤라이제이션 가능성을 통해 현실과의 격차를 최소화함으로써 실제 세계로의 정책 이식 가능성을 높이기 위해.
• 다양한 그립퍼, 센서, 제어 모드를 지원함으로써 커뮤니티 기반 개발 및 확장성을 촉진하기 위해.

제안 방법

• 툴킷은 ROS 2의 네이티브 파이썬 클라이언트 라이브러리를 통합하여 런처 및 초기화 워크플로우를 향상시켰다.
• 기존 gym-gazebo 파생 버전에서 분리되어, 구조적 종속 없이 OpenAI Gym에 환경를 등록하는 독립형 라이브러리가 되었다.
• 시스템은 모듈식이며 로봇 전용 아키텍처를 사용하여 새로운 로봇 플랫폼 통합을 단순화한다.
• 프록시멀 정책 최적화(PPO)는 학습률 감소 및 클리핑 범위를 포함한 구성 가능한 초모수를 사용한다.
• 보상 형상화는 위치 오차와 자세 오차의 가중 조합을 사용하며, 작업 목표를 균형 잡기 위해 베타 초모수 조정이 이루어진다.
• 프레임워크는 도메인 랜덤라이제이션과 RNN 통합을 지원하여 환경 변화에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 ROS 2 네이티브 강화학습 툴킷은 시뮬레이션에서 모듈식 로봇 암의 정확하고 반복 가능한 훈련을 지원할 수 있는가?
• RQ2 위치 및 자세 제어 작업에서 PPO의 성능은 보상 형상화 설정에 따라 어떻게 달라지는가?
• RQ3 시뮬레이션된 정책은 최소한의 캘리브레이션으로 실제 로봇 시스템에 얼마나 잘 이식될 수 있는가?
• RQ4 초모수 선택, 특히 보상 함수의 베타 값은 수렴 속도와 최종 정확도에 어떤 영향을 미치는가?
• RQ5 그립퍼 및 힘/토크 센서와 같은 다양한 로봇 구성 요소를 지원하기 위해 툴킷은 어떻게 아키텍처를 설계할 수 있는가?

주요 결과

• MARA Orient 환경에서는 x축에서 평균 거리 오차가 3.03±1.89 mm, y축에서 8.95±2.54 mm, z축에서 5.85±4.38 mm였으며, 자세 오차는 각각 0.71±0.29°, 1.61±1.25°, 7.52±2.48°였다.
• MARA Collision Orient 환경에서는 x축에서 평균 거리 오차가 7.43±3.07 mm, y축에서 4.69±2.37 mm, z축에서 5.18±3.44 mm였으며, 자세 오차는 각각 2.62±3.80°, 4.06±2.20°, 6.43±6.81°였다.
• MARA Orient 작업에서 베타 = 1.1을 사용함으로써 위치 및 자세 보상 간의 균형을 맞추어 정책의 안정성과 수렴성을 향상시켰다.
• MARA Collision Orient 작업에서 1024단계(2048단계 대비)의 에피소드 길이로 수렴이 이루어졌으며, 이는 궤적 길이에 민감함을 시사했다.
• 툴킷은 안정적인 훈련과 정책 이식 가능성의 타당성을 입증하였으며, 엔트로피와 보상 곡선은 실험 전반에서 일관된 학습 역학을 보였다.
• 도메인 랜덤라이제이션과 RNN 기반 정책을 향한 향후 확장이 가능하며, 이는 동적 또는 불확실한 환경에서의 강건성을 향상시킬 수 있다.