[논문 리뷰] Embodied Neuromorphic Vision with Event-Driven Random Backpropagation

Jacques Kaiser, Alexander W. Friedrich외 5명|arXiv (Cornell University)|2019. 04. 09.

Advanced Memory and Neural Computing참고 문헌 14인용 수 8

한 줄 요약

이 논문은 동적 시각 센서(DVS) 이벤트 스트림에서 스파iking 신경망을 훈련하기 위해 이벤트 기반 랜덤 역전파(eRBP)를 제안하며, 로봇의 접근 가능성 분류에서 인간 수준의 반응 시간을 달성한다. eRBP를 암묵적 주의 메커니즘과 마이크로사시디크 눈동자 운동과 통합함으로써, 시스템은 운동 시작 후 100ms 이내에 잡기 접근 가능성을 분류하며 생물학적 성능를 재현하면서도 낮은 에너지 소비와 높은 속도로 작동한다.

ABSTRACT

Spike-based communication between biological neurons is sparse and unreliable. This enables the brain to process visual information from the eyes efficiently. Taking inspiration from biology, artificial spiking neural networks coupled with silicon retinas attempt to model these computations. Recent findings in machine learning allowed the derivation of a family of powerful synaptic plasticity rules approximating backpropagation for spiking networks. Are these rules capable of processing real-world visual sensory data? In this paper, we evaluate the performance of Event-Driven Random Back-Propagation (eRBP) at learning representations from event streams provided by a Dynamic Vision Sensor (DVS). First, we show that eRBP matches state-of-the-art performance on the DvsGesture dataset with the addition of a simple covert attention mechanism. By remapping visual receptive fields relatively to the center of the motion, this attention mechanism provides translation invariance at low computational cost compared to convolutions. Second, we successfully integrate eRBP in a real robotic setup, where a robotic arm grasps objects according to detected visual affordances. In this setup, visual information is actively sensed by a DVS mounted on a robotic head performing microsaccadic eye movements. We show that our method classifies affordances within 100ms after microsaccade onset, which is comparable to human performance reported in behavioral study. Our results suggest that advances in neuromorphic technology and plasticity rules enable the development of autonomous robots operating at high speed and low energy consumption.

연구 동기 및 목표

• eRBP, 생물학적으로 영감을 받은 학습 규칙이 DVS에서의 실제 세계 이벤트 기반 시각 데이터로부터 효과적으로 학습할 수 있는지 평가하는 것.
• 컨volutional 레이어를 사용하지 않고 스파킹 네트워크의 이동 불변성을 향상시키기 위해 암묵적 주의 메커니즘을 도입하는 것.
• 실시간 감각 피드백이 있는 폐쇄형 시스템에서 eRBP를 사용한 엔드 투 엔드 로봇 잡기 시스템을 구현하는 것.
• 뉴모르픽 하드웨어와 스파킹 신경망을 사용하여 시각적 접근 가능성 탐지에서 인간 수준의 반응 시간을 달성하는 것.

제안 방법

• eRBP는 고정된 무작위 피드백 가중치와 국소 전합전위 및 시냅스 후 활성도를 사용하여 스파킹 신경망에서 역전파를 근사한다.
• 신경망은 비가역적인 활성화 함수를 갖는 하드 임계값 Leaky Integrate-and-Fire 뉴런을 사용하여 생물학적 스파크 행동을 모델링한다.
• 암묵적 주의 메커니즘이 운동 중심에 대해 수신장역할을 동적으로 재맵핑함으로써, 저비용으로 이동 불변성을 제공한다.
• 마이크로사시디크 눈동자 운동을 통해 시각 입력을 능동적으로 샘플링하고, 온라인 학습을 위한 희소하지만 정보가 풍부한 이벤트 스트림을 생성한다.
• 네트워크는 레이트 코딩된 레이블과 출력 뉴런에서 은닉층으로의 오차 피드백을 무작위 피드백 가중치를 통해 감독 학습 방식으로 훈련한다.
• 시스템은 로봇 팔과 손과 통합되어, 탐지된 접근 가능성에 따라 실시간으로 잡기 동작을 유도한다.

실험 결과

연구 질문

• RQ1 eRBP는 실제 세계의 DVS 이벤트 스트림에서 시각적 표현을 효과적으로 학습할 수 있는가?
• RQ2 제안된 암묵적 주의 메커니즘이 컨volution 레이어 없이도 스파킹 네트워크의 성능과 이동 불변성을 향상시키는가?
• RQ3 eRBP는 폐쇄형 로봇 시스템에서 실시간, 저지연의 접근 가능성 분류를 가능하게 하는가?
• RQ4 시스템의 반응 시간은 인간 행동 기준과 비교해 어떻게 되는가?
• RQ5 최소한의 훈련 데이터로도 네트워크가 새로운 물체 위치와 형태에 대해 얼마나 일반화되는가?

주요 결과

• eRBP는 DvsGesture 데이터셋에서 최신 기술 수준의 성능를 달성하였으며, 암묵적 주의 메커니즘을 추가함으로써 분류 정확도가 크게 향상되었다.
• 시스템은 마이크로사시디크 눈동자 시작 후 약 100ms 이내에 시각적 접근 가능성을 분류하였으며, 행동 연구에서 보고된 인간 반응 시간과 일치하였다.
• 마이크로사시디크 동안 입력이 희소함에도 불구하고 은닉층은 지속적인 스파크 활동를 보였으며, 신경 동역학으로부터 기대되는 단기 기억이 발생한 것으로 나타났다.
• 공과 펜의 잡기 타입은 높은 신뢰도로 정확히 분류되었지만, 투명한 병과 배경은 이벤트 수가 적어 성능가 낮았다.
• 단 한 개의 예시만으로도 같은 형태의 물체나 약간의 위치 이동에 대해 중간 정도의 일반화 성능를 보였으며, 이는 훈련 데이터가 매우 적은 경우에도 유의미한 일반화 능력을 갖는다는 것을 시사한다.
• 마이크로사시디크 동안 배경 변화나 예상치 못한 운동이 발생할 경우 네트워크는 배경을 '무작위 행동' 클래스의 일부로 학습하여 민감하게 반응하였다.