[논문 리뷰] Extending the OpenAI Gym for robotics: a toolkit for reinforcement learning using ROS and Gazebo

Iker Zamora, Nestor Gonzalez Lopez외 2명|arXiv (Cornell University)|2016. 08. 19.

Reinforcement Learning in Robotics참고 문헌 2인용 수 90

한 줄 요약

이 논문은 로봇 강화학습을 위한 벤치마킹 툴킷을 만들기 위해 OpenAI Gym에 ROS와 Gazebo를 통합하여 확장한다. 이는 Q-학습과 Sarsa를 사용한 시뮬레이션 기반 에이전트 훈련을 가능하게 한다. 3,000 에피소드 후 Sarsa에서는 누적 보상 최대 3,500, Q-학습에서는 2,500에 도달하여 안정적인 주행을 달성하였으며, Q-학습이 더 빠른 학습 속도를 보이고 Sarsa가 더 매끄럽고 안전한 행동을 보인다.

ABSTRACT

This paper presents an extension of the OpenAI Gym for robotics using the Robot Operating System (ROS) and the Gazebo simulator. The content discusses the software architecture proposed and the results obtained by using two Reinforcement Learning techniques: Q-Learning and Sarsa. Ultimately, the output of this work presents a benchmarking system for robotics that allows different techniques and algorithms to be compared using the same virtual conditions.

연구 동기 및 목표

• 로봇 강화학습을 위한 표준화된 벤치마킹 환경의 부족을 해결하기 위해.
• 스케일링 가능하고 안전하며 반복 가능한 시뮬레이션 기반 강화학습 훈련을 위해 OpenAI Gym을 ROS와 Gazebo와 통합하기 위해.
• 표준화된 로봇 환경을 사용해 동일한 가상 조건에서 강화학습 알고리즘 간 비교를 가능하게 하기 위해.
• 학습된 정책을 시뮬레이션에서 실제 로봇 시스템으로 이식할 수 있도록 지원하기 위해.
• 실제 훈련의 비용, 시간, 위험을 줄이기 위해 시뮬레이션 기반 '정신적 연습'을 통해 실현 가능하게 하기 위해.

제안 방법

• OpenAI Gym의 API를 확장하여 ROS를 중간 장치로 사용해 로봇 환경을 지원한다.
• Gazebo를 물리적 특성을 가진 3D 시뮬레이터로 사용하며, URDF와 ROS 패키지를 통해 로봇 모델을 정의할 수 있도록 한다.
• 세 대의 로봇(Turtlebot, Erle-Rover, Erle-Copter)을 대상으로 총 여섯 개의 서로 다른 환경을 구현하며, 각각 고유한 센서 및 환경 설정을 가진다.
• 학습된 주행 정책를 얻기 위해 α=0.2, γ=0.9, ε=0.9의 초모수를 가진 Q-학습과 Sarsa 알고리즘을 적용하고, ε-감소 전략을 사용한다.
• 상태 공간 복잡도를 줄이기 위해 LIDAR 센서 데이터를 270° 시야에서 다섯 개의 정수 값으로 이산화한다.
• 진전에 대한 보상은 양의 보상, 충돌 또는 벽에 가까워질 경우 음의 보상으로 구성된 보상 형식을 사용한다.

실험 결과

연구 질문

• RQ1 OpenAI Gym, ROS, Gazebo를 사용해 표준화된 시뮬레이션 기반 벤치마킹 환경을 로봇 강화학습에 구축할 수 있는가?
• RQ2 Q-학습과 Sarsa는 시뮬레이션된 로봇 주행 작업에서 학습 속도, 안정성, 최종 성능 측면에서 어떻게 비교되는가?
• RQ3 간단한 LIDAR 기반 관측 공간은 이산화된 환경에서 효과적인 주행 정책 학습을 가능하게 할 수 있는가?
• RQ4 Sarsa와 같은 온-정책 알고리즘을 사용할 경우, 실제 세계 이식 시나리오에서 Q-학습에 비해 더 안전하고 탐색 중심적인 행동을 보이는가?
• RQ5 ROS와 Gazebo의 통합은 실질적인 비용이 많이 드는 실제 시험을 줄이기 위해 효율적이고 확장 가능한 강화학습 훈련을 가능하게 하는가?

주요 결과

• 3,000 에피소드 후 Sarsa는 최대 누적 보상 3,500을 기록하여 Q-학습의 약 2,500보다 더 높은 정책 성능을 보였다.
• Q-학습은 더 빠른 수렴 속도를 보였으며, 2,400 에피소드까지 평균 보상이 700을 초과했고, Sarsa는 2,600 에피소드가 되어야 비슷한 수준에 도달했다.
• Sarsa는 더 매끄럽고 보수적인 행동을 보였으며, 벽 근처에서 위험한 동작을 피했고, 반면 Q-학습은 더 공격적이고 이질적인 동작을 보였다.
• 200 에피소드 간격의 평균 보상은 Sarsa가 2,400–2,600 에피소드 창에서 평균 698을 기록한 반면, Q-학습은 2,400–2,600 에피소드 창에서 평균 776을 기록하여 둘 다 뛰어난 성능를 보였다.
• 개별 에피소드 보상의 변동성이 높음에도 불구하고, 평균 보상 곡선과 표 데이터는 둘 다 장애물 회피 정책을 성공적으로 학습했다는 것을 확인한다.
• 이산화된 LIDAR 입력(다섯 값)을 사용함으로써 과도한 계산 없이도 효과적인 학습이 가능했으며, 실시간 응용에 적합한 방법임을 검증했다.