[논문 리뷰] Event-based Video Reconstruction via Potential-assisted Spiking Neural Network

Lin Zhu, Xiao Wang외 4명|arXiv (Cornell University)|2022. 01. 25.

Advanced Memory and Neural Computing인용 수 6

한 줄 요약

이 논문은 이벤트 기반 영상 복원을 위한 완전한 스파iking 신경망(SNN) 프레임워크인 EVSNN과 PA-EVSNN을 제안한다. Leaky-Integrate-and-Fire(LIF) 및 적응 막 전위(AMP) 뉴런을 활용하여 시간 정보를 효과적으로 활용한다. 이 모델들은 ANN 기반 방법과 유사한 복원 품질을 달성하면서도, 각각 19.36배와 7.75배 더 계산 효율적이며, E2VID보다 24.15배와 8.76배 에너지 절약을 달성한다.

ABSTRACT

Neuromorphic vision sensor is a new bio-inspired imaging paradigm that reports asynchronous, continuously per-pixel brightness changes called `events' with high temporal resolution and high dynamic range. So far, the event-based image reconstruction methods are based on artificial neural networks (ANN) or hand-crafted spatiotemporal smoothing techniques. In this paper, we first implement the image reconstruction work via fully spiking neural network (SNN) architecture. As the bio-inspired neural networks, SNNs operating with asynchronous binary spikes distributed over time, can potentially lead to greater computational efficiency on event-driven hardware. We propose a novel Event-based Video reconstruction framework based on a fully Spiking Neural Network (EVSNN), which utilizes Leaky-Integrate-and-Fire (LIF) neuron and Membrane Potential (MP) neuron. We find that the spiking neurons have the potential to store useful temporal information (memory) to complete such time-dependent tasks. Furthermore, to better utilize the temporal information, we propose a hybrid potential-assisted framework (PA-EVSNN) using the membrane potential of spiking neuron. The proposed neuron is referred as Adaptive Membrane Potential (AMP) neuron, which adaptively updates the membrane potential according to the input spikes. The experimental results demonstrate that our models achieve comparable performance to ANN-based models on IJRR, MVSEC, and HQF datasets. The energy consumptions of EVSNN and PA-EVSNN are 19.36$ imes$ and 7.75$ imes$ more computationally efficient than their ANN architectures, respectively.

연구 동기 및 목표

• 전통적인 인공 신경망(ANN)의 에너지 효율성 부족함을 극복하고, 이벤트 기반 영상 복원을 위한 깊이 있는 스파킹 신경망(SNN) 프레임워크를 개발한다.
• 스파iking 뉴런이 시간 정보를 저장하고 활용할 수 있는 능력을 탐색하여 시간에 따라 변하는 복원 작업에 적합한지를 평가한다.
• 입력의 희소성에 따라 동적으로 조정되는 적응 막 전위(AMP) 뉴런을 활용한 하이브리드 잠재력 보조 프레임워크를 설계하여 SNN의 시간적 수용 영역을 향상시킨다.
• SNN이 ANN 및 기존 최고 수준의 모델인 E2VID와 비교해 계산 및 에너지 비용을 크게 줄이며 경쟁 가능한 복원 성능을 달성할 수 있음을 입증한다.

제안 방법

• 제안된 EVSNN 프레임워크는 이질적인 이벤트 데이터를 스파킹 신경망 아키텍처에서 처리하기 위해 Leaky-Integrate-and-Fire(LIF) 뉴런과 막 전위(MP) 뉴런을 사용한다.
• 새로운 적응 막 전위(AMP) 뉴런이 도입되었으며, 이는 입력 스파이크 활동에 따라 막 시간 상수를 적응적으로 업데이트하여 시간 모델링 능력을 향상시킨다.
• PA-EVSNN 프레임워크는 AMP 뉴런을 하이브리드 아키텍처에 통합하여, SNN 연산과 MP 계층에서의 소수점(FP) 연산을 조합함으로써 성능을 향상시켰다.
• 모델들은 서로서적 기울기 역전파를 사용하여 훈련되며, 스파이크 임계값이 비미분 가능하기 때문에 깊이 있는 SNN의 엔드 투 엔드 훈련을 가능하게 한다.
• 에너지 효율성은 ANN의 MAC 연산과 SNN의 스파이크 기반 연산을 비교하여 정량화되었으며, SNN 연산은 0.9pJ, ANN 연산은 4.6pJ의 전력 모델을 기반으로 한다.
• 다중 시간 단계 시뮬레이션을 피함으로써 지연 시간과 에너지 소비를 줄였으며, 불필요한 스파이크 활동을 최소화하였다.

실험 결과

연구 질문

• RQ1 완전한 스파킹 신경망(SNN) 아키텍처가 ANN과 유사한 성능을 내며 이벤트 기반 영상 복원을 효과적으로 수행할 수 있는가?
• RQ2 스파이킹 뉴런은 시간에 따라 변하는 회귀 작업, 예를 들어 영상 복원과 같은 작업에서 본질적으로 시간 정보를 저장하고 활용할 수 있는가?
• RQ3 적응 막 전위(AMP) 뉴런을 활용한 하이브리드 잠재력 보조 프레임워크가 SNN의 시간적 수용 영역과 복원 정확도를 향상시키는가?
• RQ4 SNN 기반 복원 모델은 E2VID와 같은 최고 수준의 ANN 기반 모델에 비해 얼마나 많은 에너지 소비를 줄일 수 있는가?

주요 결과

• EVSNN 모델은 IJRR, MVSEC, HQF 데이터셋에서 최고 수준의 ANN 기반 모델과 유사한 복원 성능을 달성한다.
• PA-EVSNN 모델은 입력 스파이크 활동에 따라 막 전위를 적응적으로 조정함으로써 시간 모델링 능력을 향상시켜 복원 품질을 더욱 향상시켰다.
• EVSNN 모델은 해당하는 ANN 아키텍처보다 19.36배 더 적은 에너지를 소비하며, PA-EVSNN은 7.75배의 에너지 절감을 달성했다.
• E2VID와 비교해 EVSNN과 PA-EVSNN는 각각 24.15배와 8.76배 더 계산 효율적이며, 이는 낮은 스파이크 발화 빈도와 최적화된 SNN 연산 덕분이다.
• EVSNN의 평균 스파이크 발화 빈도는 26.4%이며, PA-EVSNN는 25.1%로, 이는 이벤트 기반 추론에서 높은 희소성과 낮은 에너지 소비를 의미한다.
• 배치 정규화를 사용했음에도 불구하고, 정적 상태에서 스파이크 빈도가 약간 증가할 수 있으나, 희소한 스파이크 활동 덕분에 전체적으로 낮은 에너지 소비를 유지한다.