[논문 리뷰] Blue River Controls: A toolkit for Reinforcement Learning Control Systems on Hardware

Kirill Polzounov, Ramitha Sundar외 1명|arXiv (Cornell University)|2020. 01. 07.

Reinforcement Learning in Robotics참고 문헌 13인용 수 5

한 줄 요약

Blue River Controls는 Gym 유사 인터페이스를 통해 Quanser의 Qube Servo2-USB 플랫폼을 사용하여 실물 하드웨어에 직접 강화학습(RL) 에이전트를 훈련하고 배포할 수 있도록 해주는 툴킷이다. 이는 통합 인터페이스, 하드웨어 추상화, 벤치마크를 제공함으로써 시뮬레이션과 실제 세계 간의 갭을 메우며, 최소한의 엔지니어링 오버헤드로 실물 시스템에서 RL과 고전적 제어 방법 간의 직접 비교를 가능하게 한다.

ABSTRACT

We provide a simple hardware wrapper around the Quanser's hardware-in-the-loop software development kit (HIL SDK) to allow for easy development of new Quanser hardware. To connect to the hardware we use a module written in Cython. The internal QuanserWrapper class handles most of the difficult aspects of interacting with hardware, including the timing (using a hardware timer), and ensuring the data sent to hardware is safe and correct, where safety corresponds to safe operating voltage and current for the specified hardware. Much of the recent success of Reinforcement learning (RL) has been made possible with training and testing tools like OpenAI Gym and Deepmind Control Suite. Unfortunately, tools for quickly testing and transferring high-frequency RL algorithms from simulation to real hardware environment remain mostly absent. We present Blue River Controls, a tool that allows to train and test reinforcement learning algorithms on real-world hardware. It features a simple interface based on OpenAI Gym, that works directly on both simulation and hardware. We use Quanser's Qube Servo2-USB platform, an underactuated rotary pendulum as an initial testing device. We also provide tools to simplify training RL algorithms on other hardware. Several baselines, from both classical controllers and pretrained RL agents are included to compare performance across tasks. Blue River Controls is available at this https URL: https://github.com/BlueRiverTech/quanser-openai-driver

연구 동기 및 목표

• 고주파 RL 알고리즘을 시뮬레이션에서 실물 하드웨어로 전이하기 위한 도구의 부족을 해결한다.
• 통합 인터페이스를 사용해 시뮬레이션과 물리적 하드웨어 간의 원활한 RL 에이전트 배포를 가능하게 한다.
• 실세계 제어 작업에서 성능 비교를 위한 기준선을 제공한다 — 고전적 제어 방법과 미리 훈련된 RL 에이전트 모두 포함.
• 하드웨어 추상화 계층과 실시간 제어 래퍼를 통해 실물 하드웨어와의 신뢰성 있고 안전하며 저지연의 상호작용을 촉진한다.
• 표준화된 인터페이스를 통해 다른 Quanser 하드웨어 플랫폼과 향후 하드웨어 통합을 위한 확장성을 지원한다.

제안 방법

• 시뮬레이션과 실물 하드웨어를 하나의 환경 API로 추상화하는 Gym 호환 인터페이스를 구현한다.
• Qube Servo2-USB 플랫폼과의 저지연 실시간 통신을 보장하기 위해 Cython을 사용한 Quanser 하드웨어 래퍼를 개발한다.
• 안정적이고 안전한 액추에이션을 확보하기 위해 하드웨어 타이머와 안전 검사(전압/전류 한계)를 통합한다.
• 시뮬레이션과 하드웨어 간의 상태 초기화, 상태 관측(엔코더 데이터로부터의 속도 추정 포함), 리셋 로직을 동기화하는 Quanser 인터페이스 레이어를 설계한다.
• 작업 간 일관된 성능 평가를 보장하기 위해 정규화된 스케일링(예: r ≈ 0에서 1)을 적용한 희박한 및 조밀한 보상 함수를 사용한다.
• 직접 성능 비교를 위한 사전 훈련된 PPO 에이전트와 고전적 제어 기준선(예: PID, 스윙업 컨트롤러)을 제공한다.

실험 결과

연구 질문

• RQ1 통합된 Gym 유사 인터페이스가 고주파 RL 제어 작업에 대해 시뮬레이션과 실물 하드웨어 배포를 효과적으로 지원할 수 있는가?
• RQ2 Qube 플랫폼에서 PPO로 훈련된 RL 에이전트가 PID 및 스윙업 컨트롤러와 같은 고전적 제어 기준선과 비교해 실물 하드웨어에서 어떻게 성능을 내는가?
• RQ3 시뮬레이터 정밀도와 도메인 랜덤라이제이션은 RL 제어의 시뮬레이션에서 실물로의 전이를 성공적으로 이끌어내는 데 어떤 역할을 하는가?
• RQ4 하드웨어 추상화 계층이 실물 시스템에 RL 에이전트를 배포하는 데 있어 엔지니어링 오버헤드를 어느 정도 줄일 수 있는가?
• RQ5 안전 메커니즘과 실시간 타이밍 제약 조건은 실물 하드웨어에서 RL 에이전트의 신뢰성과 성능에 어떤 영향을 미치는가?

주요 결과

• Blue River Controls 툴킷은 시뮬레이션과 물리적 시스템 간에 일관된 단일 인터페이스를 사용하여 실물 하드웨어에서의 종단 간 RL 훈련 및 배포를 성공적으로 지원한다.
• 툴킷은 250 Hz에서 실시간 운영을 지원하며, 하드웨어 추상화를 통해 전압 및 전류 모니터링을 통한 안정적이고 안전한 액추에이션을 보장한다.
• 성능 벤치마크 결과, PPO 에이전트는 Qube Balance 및 Qube Swing-Up와 같은 작업에서 최적에 가까운 성능을 달성했으며, 시뮬레이션에서는 최대 에피소드 보상이 1.0에 수렴하고 하드웨어에서는 안정적인 성능을 보였다.
• 스윙업 컨트롤러 및 PID 컨트롤러와 같은 고전적 제어 기준선은 복잡한 작업에서 강력한 성능 기준을 제공하며, RL이 이 기준선을 충족하거나 초월할 수 있음을 보여준다.
• 하드웨어 추상화 계층과 상태 추정(예: 엔코더 데이터로부터의 속도)을 통한 일관된 상태 관측은 시뮬레이션과 실물 하드웨어 간의 도메인 갭 문제를 줄여준다.
• 툴킷의 모듈러한 설계 덕분에 UAV, cranes, 활성 서스펜션 시스템과 같은 다른 Quanser 하드웨어 플랫폼으로의 확장도 간편하게 가능하다.