[논문 리뷰] RL STaR Platform: Reinforcement Learning for Simulation based Training of Robots

Tamir Blum, Gabin Paillet외 2명|arXiv (Cornell University)|2020. 09. 21.

Modular Robots and Swarm Intelligence참고 문헌 23인용 수 4

한 줄 요약

RL STaR 플랫폼은 우주 로봇 기반 강화학습(RL) 연구를 가속화하기 위해 설계된 오픈소스이자 모듈식 프레임워크로, 시뮬레이션 기반 훈련을 단순화한다. 기존 시뮬레이터인 CoppeliaSim과 같은 전통적 시뮬레이터의 자원 제약 문제를 해결하기 위해, 복잡하고 불확실한 우주 환경에서 인간 간섭을 최소화하고도 로봇 훈련이 가능한 통합적이고 확장 가능한 환경을 제공한다. 이는 달의 동굴 탐사나 다중 로봇 협업과 같은 응용 분야를 가능하게 한다.

ABSTRACT

Reinforcement learning (RL) is a promising field to enhance robotic autonomy and decision making capabilities for space robotics, something which is challenging with traditional techniques due to stochasticity and uncertainty within the environment. RL can be used to enable lunar cave exploration with infrequent human feedback, faster and safer lunar surface locomotion or the coordination and collaboration of multi-robot systems. However, there are many hurdles making research challenging for space robotic applications using RL and machine learning, particularly due to insufficient resources for traditional robotics simulators like CoppeliaSim. Our solution to this is an open source modular platform called Reinforcement Learning for Simulation based Training of Robots, or RL STaR, that helps to simplify and accelerate the application of RL to the space robotics research field. This paper introduces the RL STaR platform, and how researchers can use it through a demonstration.

연구 동기 및 목표

• 우주 로봇을 위한 강화학습 에이전트를 훈련시키는 데 있어 제한된 컴퓨팅 및 시뮬레이션 자원 문제를 해결하기 위해.
• 우주 응용 분야의 로봇 시뮬레이션 환경에 강화학습을 구현하는 데 소요되는 복잡성과 시간을 줄이기 위해.
• 달 표면이나 동굴과 같은 불확실하고 확률적인 환경에서 자율 로봇의 효율적 훈련을 가능하게 하기 위해.
• 통합된 시뮬레이션 및 훈련 프레임워크를 통해 다중 로봇 간 협업과 협력을 지원하기 위해.
• 강화학습 연구의 진입 장벽을 낮추기 위해 오픈소스이자 모듈식이며 확장 가능한 플랫폼을 제공하기 위해.

제안 방법

• RL STaR 플랫폼은 우주 로봇 기반 시뮬레이션에 특화된 고정밀 시뮬레이션 환경과 강화학습 알고리즘을 통합한다.
• 환경 시뮬레이션, RL 훈련, 에이전트 정책 학습을 분리하는 모듈식 아키텍처를 사용하여 커스터마이제이션과 확장성 향상을 도모한다.
• CoppeliaSim과 같은 기존 로봇 시뮬레이터와의 통합을 지원하여 물리 및 렌더링 기능을 활용한다.
• 장기적인 우주 임무에서 핵심적인 역할을 하는 희박하거나 드문 인간 피드백을 통한 훈련을 가능하게 한다.
• 로그 기록, 시각화, 하이퍼파rameter 튜닝 도구를 포함하여 훈련 파이프라인을 간소화한다.
• 확장 가능하도록 설계되어 연구자들이 새로운 환경, 알고리즘, 보상 함수를 쉽게 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 제한된 인간 피드백 조건에서 강화학습이 어떻게 우주 로봇 작업에 효과적으로 적용될 수 있는가?
• RQ2 어떤 아키텍처적 및 구현적 선택이 우주 로봇 기반 시뮬레이션에서 효율적이고 확장 가능한 RL 훈련을 가능하게 하는가?
• RQ3 기존의 시뮬레이션 기반 RL 워크플로우에 비해 RL STaR 플랫폼은 자원 오버헤드를 얼마나 줄이는가?
• RQ4 플랫폼은 불확실한 환경에서 다중 로봇 간 협업과 자율적 의사결정을 어느 정도 지원할 수 있는가?
• RQ5 플랫폼의 모듈성은 다양한 로봇 작업 간 재사용성과 적응성 향상에 어떻게 기여하는가?

주요 결과

• RL STaR 플랫폼은 우주 로봇 기반 시뮬레이션에서 RL 훈련 파이프라인을 설정하고 실행하는 복잡성을 성공적으로 줄였다.
• 최소한의 인간 간섭으로도 달의 동굴과 같은 복잡하고 확률적인 환경에서 에이전트를 훈련시킬 수 있었다.
• 모듈식 설계 덕분에 기존 시뮬레이터인 CoppeliaSim과 원활하게 통합되어 시뮬레이션 정밀도를 유지하면서도 훈련 효율성을 향상시켰다.
• 플랫폼은 다중 로봇 시스템의 스케일러블한 훈련을 지원하여 우주 임무에서 협업 자율성의 잠재력을 입증했다.
• 통합된 오픈소스 프레임워크를 제공함으로써, 우주 탐사용 자율 로봇 시스템의 연구 및 개발을 가속화했다.
• 플랫폼는 공개되어 있어 재현 가능성과 분야 내 공동 연구 기반의 확장성을 촉진한다.