[논문 리뷰] Closing the Accuracy Gap in an Event-Based Visual Recognition Task

Bodo Rückauer, Nicolas Känzig외 3명|arXiv (Cornell University)|2019. 05. 06.

Advanced Memory and Neural Computing인용 수 10

한 줄 요약

이 논문은 로봇 시각 인식에서 저전력, 저지연을 위한 프레임 기반 합성곱 신경망(CNN)을 이벤트 기반 스파iking 신경망(SNN)으로 변환하는 방법을 제안한다. L2-regularized 바이어스로 CNN를 재학습하고 DVS 호환 프레임 생성을 사용함으로써, SNN는 원래 CNN의 정확도의 97% (85.19% 대 88.25%)를 달성하면서도 계산량을 12배 줄였다. 이는 이벤트 기반 시각 인식 작업에서 정확도 격차를 해소하는 데 기여한다.

ABSTRACT

Mobile and embedded applications require neural networks-based pattern recognition systems to perform well under a tight computational budget. In contrast to commonly used synchronous, frame-based vision systems and CNNs, asynchronous, spiking neural networks driven by event-based visual input respond with low latency to sparse, salient features in the input, leading to high efficiency at run-time. The discrete nature of the event-based data streams makes direct training of asynchronous neural networks challenging. This paper studies asynchronous spiking neural networks, obtained by conversion from a conventional CNN trained on frame-based data. As an example, we consider a CNN trained to steer a robot to follow a moving target. We identify possible pitfalls of the conversion and demonstrate how the proposed solutions bring the classification accuracy of the asynchronous network to only 3\% below the performance of the original synchronous CNN, while requiring 12x fewer computations. While being applied to a simple task, this work is an important step towards low-power, fast, and embedded neural networks-based vision solutions for robotic applications.

연구 동기 및 목표

• 로봇 시각 인식 작업에서 프레임 기반 CNN와 이벤트 기반 SNN 간의 정확도 격차를 해소하기 위해.
• 동적 시각 센서(DVS)에서 생성되는 이방향 이벤트 스트림을 사용한 효율적이고 저전력 추론을 가능하게 하기 위해.
• 동기식 CNN에서 异步식 SNN로의 변환 과정에서 성능 저하의 주요 원인을 규명하고 이를 완화하기 위해.
• 실제 DVS 데이터 기반으로 SNN가 원래 CNN 수준의 성능을 근사적으로 달성하면서도 계산 비용을 크게 감소시킬 수 있음을 입증하기 위해.

제안 방법

• 극단적인 가중치를 방지하고 SNN 변환 정밀도를 향상시키기 위해 L2-regularized 바이어스를 사용해 사전 학습된 CNN를 재학습하는 방법.
• 실제 DVS 테스트 데이터에 적용된 동일한 시간 분할 전략을 사용해 훈련 프레임을 생성함으로써 도메인 이탈을 최소화하는 방법.
• 시간 인코딩을 사용해 CNN의 활성화를 스파이크 트레인으로 매핑함으로써 훈련된 CNN를 SNN로 변환하는 방법.
• 아날로그 프레임, 포isson 스파이크 트레인, 실제 DVS 이벤트 스트림의 세 가지 입력 유형에서 SNN를 평가하는 방법.
• 이벤트를 비동기적으로 처리하고 희소한, 이벤트 기반 계산을 수행하는 스파이킹 신경망 추론 엔진 사용.
• 계산 비용을 동일한 테스트 세트에서의 연산 수(MOps)와 분류 정확도로 측정하는 방법.

실험 결과

연구 질문

• RQ1 실제 DVS 이벤트 스트림에서 테스트할 때, 프레임 기반 CNN와 그로 변환된 SNN 사이의 정확도 격차는 무엇이 원인인가?
• RQ2 SNN 변환 과정에서 훈련 데이터와 테스트 데이터의 분포 간 격리를 어떻게 최소화할 수 있는가?
• RQ3 훈련 중 L2 정규화를 통해 이벤트 기반 비동기 입력에 대한 SNN 성능 향상 정도는 어느 정도인가?
• RQ4 실제 이벤트 기반 데이터에서 SNN가 계산 비용을 수십 배 이상 줄이면서도 원래 CNN 수준의 정확도를 근사로 달성할 수 있는가?

주요 결과

• L2-regularized 바이어스로 재학습한 CNN에서 변환된 SNN는 실제 DVS 이벤트 스트림에서 85.19%의 분류 정확도를 달성했으며, 원래 CNN의 88.25%에 비해 3% 떨어지기만 했다.
• SNN는 단지 0.66 백만 연산(MOps)을 필요로 하여 원래 CNN의 7.85 MOps 대비 12배의 계산 비용 절감을 이뤘다.
• 훈련 과정에서 DVS 호환 프레임 생성을 사용함으로써 훈련 및 테스트 데이터 간의 분포 이탈이 감소했으며, 이는 SNN의 강건성 향상에 크게 기여했다.
• L2 정규화는 극단적인 가중치와 바이어스의 영향을 효과적으로 완화하여, 이는 이벤트 기반 비동기 입력에서 SNN 성능 저하를 방지했다.
• 남아 있는 3%의 정확도 격차는 실재 DVS 데이터에 존재하는 시간적 구조가 합성 또는 프레임 기반 훈련 데이터에는 존재하지 않기 때문으로 분석되었다.
• 아날로그 입력 프레임에서 SNN는 단지 1.15 MOps의 계산 비용으로 88.12%의 정확도를 달성했으며, 원래 CNN 대비 7배의 계산량 감소를 기록했다.