[논문 리뷰] Representation Learning for Event-based Visuomotor Policies

Sai Vemprala, Sami Mian외 1명|arXiv (Cornell University)|2021. 03. 01.

Advanced Vision and Imaging참고 문헌 44인용 수 9

한 줄 요약

이 논문은 이벤트 기반 카메라에서 유입되는 이질적이고 비정상적인 시공간 이벤트 스트림으로부터 직접 압축되고 불변하는 표현을 학습하기 위해 이벤트 변분 오토인코더(eVAE)를 제안한다. 시간 임베딩과 비지도 사전학습을 활용함으로써 eVAE는 고속 장애물 회피 작업에서 시각운동 정책에 대해 더 빠르고 강건한 강화학습을 가능하게 하여 일반화 능력, 희소성, 노이즈에 대한 강건성 면에서 이미지 기반 기준 모델을 능가한다.

ABSTRACT

Event-based cameras are dynamic vision sensors that provide asynchronous measurements of changes in per-pixel brightness at a microsecond level. This makes them significantly faster than conventional frame-based cameras, and an appealing choice for high-speed navigation. While an interesting sensor modality, this asynchronously streamed event data poses a challenge for machine learning techniques that are more suited for frame-based data. In this paper, we present an event variational autoencoder and show that it is feasible to learn compact representations directly from asynchronous spatiotemporal event data. Furthermore, we show that such pretrained representations can be used for event-based reinforcement learning instead of end-to-end reward driven perception. We validate this framework of learning event-based visuomotor policies by applying it to an obstacle avoidance scenario in simulation. Compared to techniques that treat event data as images, we show that representations learnt from event streams result in faster policy training, adapt to different control capacities, and demonstrate a higher degree of robustness.

연구 동기 및 목표

• 이벤트 기반 카메라에서 유입되는 이질적이고 희소한 이벤트 데이터에 전통적인 기계학습 기법을 적용하는 데 도전하는 데에 대비하기 위해.
• 시간 해상도를 유지하고 데이터 순서와 희소성에 대해 불변성을 확보하는 표현 학습 프레임워크를 개발하기 위해.
• 프레임 기반 입력 대신 이벤트 스트림 표현을 사용하여 시각운동 정책에 대해 엔드 투 엔드 강화학습을 가능하게 하기 위해.
• 다양한 제어 레이트, 환경 분포, 센서 노이즈 상황에서도 정책의 일반화 능력을 향상시키기 위해.
• 학습된 이벤트 표현을 고속 로봇 주행 과제에 적용할 수 있는 타당성과 이점을 입증하기 위해.

제안 방법

• 스пат리오토스피얼 특징 네트워크를 사용하여 이벤트 기반 카메라의 원시 이질적 이벤트 바이트스트림을 처리하는 이벤트 변분 오토인코더(eVAE)를 제안한다.
• 시간 정보를 잠재 공간에 유지하기 위해 트랜스포머에 영감을 받은 시간 임베딩 메커니즘을 적용한다.
• 임의의 길이의 이벤트 시퀀스로부터 매끄럽고 분리된, 압축된 표현을 학습하기 위해 변분 추론 프레임워크를 사용한다.
• 이벤트 데이터를 일괄 처리하거나 순차적으로 처리함으로써 실시간 추론과 다양한 제어 주파수에 대한 적응을 가능하게 한다.
• eVAE로 학습된 표현을 관측값으로 사용하여 강화학습을 통해 시각운동 정책을 훈련시킨다.
• 다른 데이터 레이트와 환경 분포에 걸쳐 일반화 가능한 정책 네트워크와 eVAE를 통합한다.

실험 결과

연구 질문

• RQ1 원시 이벤트 스트림에서의 비지도 표현 학습이 시각운동 제어에 적합한 압축되고 의미 있는 표현을 생성할 수 있는가?
• RQ2 eVAE로 학습된 표현을 사용할 경우, 강화학습에서 이미지 기반 방법 대비 훈련 속도와 강건성이 향상되는가?
• RQ3 eVAE 표현으로 훈련된 정책은 장애물 무늬, 형태, 또는 운동 패턴이 다른 분포를 벗어난 환경에도 일반화 가능한가?
• RQ4 배경 활동 노이즈와 같은 유도된 데이터 희소성 또는 센서 노이즈 상황에서 eVAE 표현의 성능은 어떠한가?
• RQ5 eVAE 표현은 이벤트 카메라 임계값과 제어 레이트의 변화에 따라 얼마나 잘 성능을 유지하는가?

주요 결과

• 시뮬레이션된 장애물 회피 과제에서 eVAE 표현으로 훈련된 정책는 엔드 투 엔드 이미지 기반 방법 대비 더 빠른 수렴을 달성했다.
• eVAE 표현은 다양한 장애물 무늬와 형태에 걸쳐 일반화 능력을 보였으며, 분포를 벗어난 환경에서 엔드 투 엔드 이미지 정책(EIP)을 능가했다.
• 픽셀 드롭아웃으로 인해 이벤트 데이터가 50% 이상 희소화된 상황에서도 eVAE 기반 정책는 높은 성능 유지를 유지하여 희소성에 대한 강건성을 입증했다.
• eVAE 표현은 이벤트 카메라 임계값 변화에 대해 불변성을 보였으며, 재학습 없이도 다양한 감도 수준에 적응할 수 있도록 했다.
• 배경 활동 노이즈가 존재하는 상황에서도 eVAE 기반 정책(BRP)은 EIP를 능가했지만, BRP-full은 BRP-xy보다 극성 노이즈에 더 민감했다.
• eVAE 프레임워크는 복잡한 장면, 이동 무늬와 혼합된 장애물 타입이 존재하는 새로운 환경으로의 정책 전이를 효과적으로 가능하게 하여 일반화 능력을 확인했다.