[논문 리뷰] Exploration of Reinforcement Learning for Event Camera using Car-like Robots

Riku Arakawa, Shintaro Shiba|arXiv (Cornell University)|2020. 04. 02.

Advanced Memory and Neural Computing참고 문헌 31인용 수 4

한 줄 요약

이 논문은 로봇을 위한 이벤트 카메라를 사용하는 최초의 강화학습(RL) 시스템을 제시하며, 시뮬레이션과 실제 환경에서 모두 100 Hz에서 실시간 충돌 회피 및 물체 추적을 구현한다. 이벤트 스트림을 이미지 유사 특징으로 변환함으로써, 시뮬레이션에서 엔드 투 엔드 RL 훈련을 가능하게 하고 실제 자동차 유사 로봇으로 정책 전이에 성공하였다. 이로 인해 밀리초 이내의 제어 응답 시간을 달성하며 최소한의 지연 시간을 확보하였다.

ABSTRACT

We demonstrate the first reinforcement-learning application for robots equipped with an event camera. Because of the considerably lower latency of the event camera, it is possible to achieve much faster control of robots compared with the existing vision-based reinforcement-learning applications using standard cameras. To handle a stream of events for reinforcement learning, we introduced an image-like feature and demonstrated the feasibility of training an agent in a simulator for two tasks: fast collision avoidance and obstacle tracking. Finally, we set up a robot with an event camera in the real world and then transferred the agent trained in the simulator, resulting in successful fast avoidance of randomly thrown objects. Incorporating event camera into reinforcement learning opens new possibilities for various robotics applications that require swift control, such as autonomous vehicles and drones, through end-to-end learning approaches.

연구 동기 및 목표

• 표준 RGB 카메라의 30–60 Hz 프레임 레이트 제한을 극복하여 이벤트 카메라를 사용한 강화학습을 통한 고속 로봇 제어를 가능하게 하기 위해.
• 뉴모르픽 센서에서 발생하는 이방향 이벤트 스트림을 처리하여 기존의 딥 RL 알고리즘에 입력으로 사용할 수 있는 방법을 개발하기 위해.
• 이벤트 카메라를 장착한 실제 로봇으로의 정책 전이 성공을 입증하기 위해.
• 이벤트 기반 시각을 통한 엔드 투 엔드 RL의 실현 가능성을 검증하기 위해, 동적인 환경에서 저지연, 고속 로봇 제어를 위한 것이다.

제안 방법

• 짧은 시간 윈도우 동안 이벤트를 누적하여 원시 이벤트 스트림을 이미지 유사 특징으로 변환함으로써, RL에서 일반적으로 사용되는 컨볼루션 신경망과의 호환성을 확보하였다.
• 이미지 유사 이벤트 특징을 사용하여 시뮬레이션 환경에서 두 가지 작업(고속 충돌 회피 및 물체 추적)을 위한 딥 RL 에이전트를 훈련시켰다.
• 에피소드 동안 누적 보상을 최적화하기 위해 탐색 전략을 적용한 딥 Q네트워크(DQN) 또는 유사한 RL 아키텍처를 사용하였다.
• Raspberry Pi 3에 WebSocket API를 통해 배포된 정책을 사용하여 GoPiGo3 로봇에서 실시간 추론을 수행하였으며, 계산 부담을 외부 서버에서 처리하였다.
• 실시간 이벤트 데이터를 libcaer 및 EventVisionLibrary를 사용하여 처리하여 RL 에이전트로의 저지연 입력을 확보하였다.
• 시뮬레이션에서 훈련한 후 직접 실제 로봇에 배포하는 방식으로, 미세조정 없이 전이 학습을 적용하였다.

실험 결과

연구 질문

• RQ1 강화학습이 로봇 제어를 위한 이벤트 카메라 데이터에 효과적으로 적용될 수 있는가?
• RQ2 이벤트 스트림에서 파생된 이미지 유사 특징이 시뮬레이션에서 안정적이고 빠른 RL 훈련을 가능하게 하는가?
• RQ3 시뮬레이션에서 훈련된 정책이 이벤트 카메라를 장착한 실제 로봇으로 성공적으로 전이되어 고속 작업을 수행할 수 있는가?
• RQ4 이벤트 카메라 기반 RL이 기존 카메라 기반 시스템보다 훨씬 높은 제어 주파수를 제공하는가?
• RQ5 지연 시간과 반응성 측면에서 이벤트 카메라 기반 RL은 기존의 시각 기반 RL과 비교해 어떻게 성능을 내는가?

주요 결과

• RL 에이전트는 시뮬레이션에서 장애물을 성공적으로 회피하였으며, 에피소드가 진행되면서 보상 합계가 증가함으로써 효과적인 정책 획득을 나타내었다.
• 다양한 랜덤 시드를 사용한 아홉 차례의 시험에서 안정적인 수렴을 달성하여 강건성과 재현 가능성을 입증하였다.
• 훈련된 정책는 DAVIS240 이벤트 카메라를 장착한 실제 GoPiGo3 로봇으로 성공적으로 전이되었다.
• 로봇는 갑작스럽게 앞에 물체가 떨어지자 즉각 멈추며 실시간 충돌 회피를 수행하였으며, 밀리초 이내의 반응 시간을 기록하였다.
• 서버에서의 추론 지연 시간은 약 9 ms로 측정되어 100 Hz 제어 주파수를 달성하였으며, 이는 기존 30–60 Hz 카메라 시스템보다 훨씬 빠른 속도이다.
• 결과적으로 이벤트 카메라 기반 엔드 투 엔드 RL이 실제 환경에서 저지연 로봇 제어를 위한 실현 가능성을 확인하였다.