[논문 리뷰] A Real-Time Model-Based Reinforcement Learning Architecture for Robot Control

Todd Hester, Michael Quinlan외 1명|arXiv (Cornell University)|2011. 05. 09.

Reinforcement Learning in Robotics참고 문헌 13인용 수 9

한 줄 요약

이 논문은 모델 기반 강화학습 아키텍처(rtmba)를 소개하며, 모델 학습, 계획, 동작 실행을 병렬화하여 샘플 효율적이고 연속적인 로봇 제어를 실시간으로 가능하게 한다. 자율주행 차량 제어와 같은 실시간 작업에서 기존 방법을 능가하며, 정지 없이 빠른 학습을 이뤄내면서도 높은 샘플 효율성을 유지한다.

ABSTRACT

Reinforcement Learning (RL) is a method for learning decision-making tasks that could enable robots to learn and adapt to their situation on-line. For an RL algorithm to be practical for robotic control tasks, it must learn in very few actions, while continually taking those actions in real-time. Existing model-based RL methods learn in relatively few actions, but typically take too much time between each action for practical on-line learning. In this paper, we present a novel parallel architecture for model-based RL that runs in real-time by 1) taking advantage of sample-based approximate planning methods and 2) parallelizing the acting, model learning, and planning processes such that the acting process is sufficiently fast for typical robot control cycles. We demonstrate that algorithms using this architecture perform nearly as well as methods using the typical sequential architecture when both are given unlimited time, and greatly out-perform these methods on tasks that require real-time actions such as controlling an autonomous vehicle.

연구 동기 및 목표

• 로봇이 실시간으로 학습하고 적응할 수 있도록 하되, 비용이 많이 드는 실제 환경 내 동작을 최소화하는 데 목적이 있다.
• 기존의 모델 기반 강화학습 방법이 동작 간에 장시간의 계산 시간을 요구하여 온라인 로봇 제어에 부적합한 한계를 극복하는 데 목적이 있다.
• 지속적인 실시간 동작 실행을 가능하게 하면서도 높은 샘플 효율성을 유지하는 시스템을 설계하는 데 목적이 있다.
• 모델 학습, 계획, 행동 실행의 병렬화가 학습 품질을 희생시키지 않고 실시간 성능을 달성하는 데 기여함을 입증하는 데 목적이 있다.
• 시뮬레이션 및 실제 로봇 제어 작업, 특히 자율주행 차량의 속도 제어를 포함한 다양한 과제에서 아키텍처를 검증하는 데 목적이 있다.

제안 방법

• rtmba 아키텍처는 세 개의 병렬 스레드를 사용한다: 실시간 동작 선택, 모델 학습, 샘플 기반 근사 계획.
• 모델 학습에 texplore 알고리즘을 활용하며, 경험에서 전이 및 보상 모델을 효율적으로 학습하기 위해 트리 기반 탐색 전략을 사용한다.
• 계산 부담을 줄이고 실시간 성능를 확보하기 위해 샘플 기반 근사 방법을 사용한 몬테카를로 트리 탐색(MCTS)을 계획에 적용한다.
• 행동 사이클 동안 배치로 모델을 업데이트하여 제어를 중단하지 않고도 지속적인 학습을 가능하게 한다.
• 다중 코어 프로세서에서 효율적으로 작동하도록 설계되어 엄격한 실시간 제어 사이클 요구 조건을 충족시키기 위해 병렬 처리를 활용한다.
• 로봇 플랫폼과의 통합을 위해 ROS 기반 인터페이스를 통해 환경과 상호작용한다.

실험 결과

연구 질문

• RQ1 모델 기반 강화학습 시스템이 로봇 제어 과제에서 높은 샘플 효율성과 실시간 동작 실행을 동시에 달성할 수 있는가?
• RQ2 모델 학습, 계획, 행동 실행의 병렬화가 성능 저하 없이 지속적인 학습을 가능하게 하는가?
• RQ3 제안된 아키텍처가 실시간 로봇 제어 시나리오에서 순차적 모델 기반 및 모델 프리 메서드를 능가할 수 있는가?
• RQ4 빠르고 지속적인 의사결정이 요구되는 실제 로봇 응용 분야에서 이 아키텍처가 효과적인가?
• RQ5 무제한 계산 시간이 주어졌을 때 rtmba의 성능은 기존 방법과 비교해 어떻게 되는가?

주요 결과

• rtmba 아키텍처는 학습 정지 없이 실시간 학습을 가능하게 하여 로봇의 지속적 제어와 학습을 동시에 구현한다.
• 시뮬레이션 환경에서 무제한 계산 시간이 주어졌을 때도 rtmba는 순차적 방법과 거의 동일한 성능를 보이며, 높은 샘플 효율성을 입증한다.
• 자율주행 차량 제어 과제에서 rtmba는 단 18개의 에피소드(3분의 주행) 만에 2 m/s에서 7 m/s까지의 속도를 추적하는 데 성공했으며, 다른 방법들은 장시간의 계산 지연으로 실패했다.
• 실제 물리적 차량에 성공적으로 구현되어 2 m/s에서 시작해 5 m/s의 속도 제어를 학습했다.
• 단 18개의 에피소드 후에 안정적이고 정확한 제어 성능를 달성하여 실시간 환경에서의 빠른 샘플 효율성을 입증했다.
• 병렬 설계 덕분에 다중 코어 프로세서를 효율적으로 활용할 수 있어 현대 로봇 하드웨어에 실용적인 아키텍처로 적합하다.