[논문 리뷰] Embodied Event-Driven Random Backpropagation.

Jacques Kaiser, Alexander W. Friedrich외 5명|arXiv (Cornell University)|2019. 04. 09.

Advanced Memory and Neural Computing참고 문헌 24인용 수 4

한 줄 요약

이 논문은 동적 시각 센서(DVS) 이벤트 스트림으로부터 효율적이고 저전력의 표현 학습을 가능하게 하는 스파iking 신경망 학습 규칙인 이벤트 주도 랜덤 역전파(eRBP)를 제안한다. eRBP를 미세한 안구 운동을 통해 주도적으로 시각 입력을 탐색하는 로봇 시스템에 통합하고, 이동 불변성을 제공하는 암시적 주의 메커니즘과 결합함으로써, 이 방법은 100ms 이내로 인간 수준의 기능 분류 성능를 달성하며, 자율 로봇에서 실시간이고 에너지 효율적인 시각 처리를 입증한다.

ABSTRACT

Spike-based communication between biological neurons is sparse and unreliable. This enables the brain to process visual information from the eyes efficiently. Taking inspiration from biology, artificial spiking neural networks coupled with silicon retinas attempt to model these computations. Recent findings in machine learning allowed the derivation of a family of powerful synaptic plasticity rules approximating backpropagation for spiking networks. Are these rules capable of processing real-world visual sensory data? In this paper, we evaluate the performance of Event-Driven Random Backpropagation (eRBP) at learning representations from event streams provided by a Dynamic Vision Sensor (DVS). First, we show that eRBP matches state-of-the-art performance on DvsGesture with the addition of a simple covert attention mechanism. By remapping visual receptive fields relatively to the center of the motion, this attention mechanism provides translation invariance at low computational cost compared to convolutions. Second, we successfully integrate eRBP in a real robotic setup, where a robotic arm grasps objects with respect to detected visual affordances. In this setup, visual information is actively sensed by a DVS mounted on a robotic head performing microsaccadic eye movements. We show that our method quickly classifies affordances within 100ms after microsaccade onset, comparable to human performance reported in behavioral study. Our results suggest that advances in neuromorphic technology and plasticity rules enable the development of autonomous robots operating at high speed and low energy budget.

연구 동기 및 목표

• 동적 시각 센서(DVS)가 캡처한 실제 세계의 시각 감각 데이터에서 이벤트 주도 백프로파게이션 규칙이 효과적으로 표현을 학습할 수 있는지 평가하는 것.
• 비용이 많이 드는 컨볼루션 연산에 의존하지 않고도 이동 불변성을 제공하는 암시적 주의 메커니즘을 eRBP에 통합하여 향상시키는 것.
• 미세한 안구 운동을 통해 주도적으로 시각 입력을 탐색하는 실제 로봇 시스템에서 이 방법을 검증하는 것.
• 시스템이 미세한 안구 운동 이후 100ms 이내로 인간 수준의 분류 속도를 달성할 수 있는지 실시간 로봇 작업에서 입증하는 것.

제안 방법

• 논문은 스파이킹 신경망에서 희박한 이벤트 기반 신호를 사용하여 백프로파게이션을 근사화하는 학습 규칙인 이벤트 주도 랜덤 역전파(eRBP)를 사용한다.
• 암시적 주의 메커니즘이 도입되어 운동 중심 기준으로 시각 수용체 영역을 재맵핑함으로써, 최소한의 계산 오버헤드로 이동 불변성을 달성한다.
• 이 방법은 DVS가 장착된 로봇 헤드를 갖춘 로봇 시스템에 통합되어, 주도적으로 시각 입력을 샘플링하는 미세한 안구 운동을 수행한다.
• 스파이크 기반 통신과 이벤트 주도 학습을 통해 동적 시각 스트림을 저에너지, 고속도로 처리할 수 있다.
• 네트워크는 물체 상호작용 작업 중에 생성된 이벤트 스트림을 기반으로 시각적 기능을 분류하도록 훈련된다.
• 성능는 DvsGesture 벤치마크와 실시간 제약 조건 하에서 실제 로봇 그립핑 설정에서 평가된다.

실험 결과

연구 질문

• RQ1 로봇 환경에서 실제 DVS 이벤트 스트림으로부터 eRBP가 효과적으로 시각 표현을 학습할 수 있는가?
• RQ2 제안된 암시적 주의 메커니즘이 이벤트 기반 학습에서 기존의 컨볼루션 접근 방식에 비해 이동 불변성 향상에 얼마나 기여하는가?
• RQ3 미세한 안구 운동을 통한 능동적 감지와 결합된 eRBP가 시각 기능 분류에서 인간 수준의 속도를 달성할 수 있는가?
• RQ4 실시간 로봇 인식 작업에서 eRBP의 계산 및 에너지 효율성은 어떠한가?

주요 결과

• 암시적 주의 메커니즘과 함께 eRBP는 DvsGesture 벤치마크에서 최고 성능를 기록한다.
• 암시적 주의 메커니즘은 전통적인 컨볼루션 레이어에 비해 훨씬 낮은 계산 비용으로 이동 불변성을 제공한다.
• 시스템은 미세한 안구 운동 시작 후 100ms 이내로 시각 기능을 분류하며, 인간 행동 연구에서 보고된 반응 시간과 일치한다.
• eRBP를 로봇 플랫폼에 통합함으로써 이벤트 기반 감각 입력을 사용하여 실시간, 저에너지 시각 처리가 가능해진다.
• 제어된 미세한 안구 운동을 통한 시각 입력 샘플링이 이루어지는 능동적 감지 시나리오에서도 이 방법은 강건한 성능를 보여준다.
• 결과적으로 eRBP는 뉴모르픽 감지와 주의 메커니즘과 결합함으로써 자율 로봇 시스템에서 고속, 저전력 동작을 가능하게 한다는 점이 시사된다.