[논문 리뷰] LIAF-Net: Leaky Integrate and Analog Fire Network for Lightweight and Efficient Spatiotemporal Information Processing

Zhenzhi Wu, Hehui Zhang외 4명|arXiv (Cornell University)|2020. 11. 12.

Advanced Neural Network Applications참고 문헌 65인용 수 98

한 줄 요약

이 논문은 Leaky Integrate and Analog Fire (LIAF) 뉴런 모델을 사용하는 새로운 스파iking 신경망인 LIAF-Net을 제안한다. 이 모델은 이진 스파이크 대신 아날로그 값을 전송함으로써 LIF의 시간 동적 특성을 유지하면서도 인공신경망(ANN) 레이어와의 효율적 통합을 가능하게 한다. LIAF-Net은 LSTM, GRU, ConvLSTM 네트워크보다 훨씬 낮은 계산 및 파라미터 비용으로 DVS128 Gesture 및 기타 시공간 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Spiking neural networks (SNNs) based on Leaky Integrate and Fire (LIF) model have been applied to energy-efficient temporal and spatiotemporal processing tasks. Thanks to the bio-plausible neuronal dynamics and simplicity, LIF-SNN benefits from event-driven processing, however, usually faces the embarrassment of reduced performance. This may because in LIF-SNN the neurons transmit information via spikes. To address this issue, in this work, we propose a Leaky Integrate and Analog Fire (LIAF) neuron model, so that analog values can be transmitted among neurons, and a deep network termed as LIAF-Net is built on it for efficient spatiotemporal processing. In the temporal domain, LIAF follows the traditional LIF dynamics to maintain its temporal processing capability. In the spatial domain, LIAF is able to integrate spatial information through convolutional integration or fully-connected integration. As a spatiotemporal layer, LIAF can also be used with traditional artificial neural network (ANN) layers jointly. Experiment results indicate that LIAF-Net achieves comparable performance to Gated Recurrent Unit (GRU) and Long short-term memory (LSTM) on bAbI Question Answering (QA) tasks, and achieves state-of-the-art performance on spatiotemporal Dynamic Vision Sensor (DVS) datasets, including MNIST-DVS, CIFAR10-DVS and DVS128 Gesture, with much less number of synaptic weights and computational overhead compared with traditional networks built by LSTM, GRU, Convolutional LSTM (ConvLSTM) or 3D convolution (Conv3D). Compared with traditional LIF-SNN, LIAF-Net also shows dramatic accuracy gain on all these experiments. In conclusion, LIAF-Net provides a framework combining the advantages of both ANNs and SNNs for lightweight and efficient spatiotemporal information processing.

연구 동기 및 목표

• 기존의 이진 스파이크 전송으로 인해 발생하는 전통적인 LIF 기반 스파iking 신경망(SNN)의 성능 저하 문제를 해결하기 위해.
• 이진 스파이크 대신 아날로그 활성화를 사용하여 SNN과 인공신경망(ANN) 간의 원활한 통합을 가능하게 하기 위해.
• 정보 전송의 정밀도를 향상시키면서도 생물학적으로 타당한 시간 동적 처리 특성을 유지하기 위해.
• 순환 및 3D 컨볼루션 네트워크에 비해 시공간 학습 과제에서 계산 및 저장 오버헤드를 줄이기 위해.

제안 방법

• LIF의 시간 동적 특성을 유지하면서도 뉴런 활성화에 아날로그 값을 사용하는 Leaky Integrate and Analog Fire (LIAF) 뉴런 모델을 제안한다.
• 뉴런 간 아날로그 활성화 전송을 가능하게 하여 LIF-SNN에서의 이진 스파이크보다 정보 정밀도를 향상시킨다.
• 호환 가능한 활성화 형식을 통해 표준 ANN 레이어(예: ReLU, 배치 정규화, 잔여 연결)와의 공동 학습을 지원한다.
• 컨볼루션 또는 완전 연결 레이어를 통해 공간 처리를 통합하여 Tensorflow와 같은 표준 딥러닝 프레임워크를 사용한 엔드 투 엔드 학습을 가능하게 한다.
• 각 뉴런의 막 전위가 누설 적분-화염 메커니즘에 따라 시간 스텝 기반으로 진화하고 아날로그 출력을 생성하는 동적 특성을 가진다.
• 기울기 기반 역전파를 시간에 따라 적용하고, 미분 가능한 아날로그 출력을 사용함으로써 깊이 있는 시공간 아키텍처의 효과적인 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 아날로그 활성화 전송이 시간 동적 처리 능력을 유지하면서도 스파iking 신경망의 성능 향상에 기여할 수 있는가?
• RQ2 LIAF-Net이 LSTM 및 GRU에 비해 낮은 계산 및 메모리 비용을 유지하면서도 시공간 과제에서 높은 정확도를 달성할 수 있는가?
• RQ3 표준 ANN 구성 요소(예: 정규화, 스킵 연결)와의 통합이 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 LIAF-Net이 동적 비전 센서(DVS) 데이터셋에서 기존 SNN 및 하이브리드 네트워크를 얼마나 뛰어나게 성능을 높일 수 있는가?
• RQ5 인간皮질 피라미드 뉴런에서 관찰된 아날로그 행동 전위의 증거를 고려할 때, LIAF 모델은 생물학적으로 타당한가?

주요 결과

• LIAF-Net은 DVS128 Gesture 데이터셋에서 테스트 정확도 97.56%를 달성하여 이전 최고 성능 기법(Bi 등, 2019)보다 2.24% 높은 성능을 보였다.
• 동일한 데이터셋에서 ConvLSTM 기반 네트워크에 비해 계산 오버헤드를 91.6% 감소시키고, 파라미터 저장 용량을 90.0% 감소시켰다.
• bAbI QA 데이터셋에서 LIAF-Net은 GRU 및 LSTM 네트워크와 유사한 성능을 보였지만, 훨씬 적은 시냅스 가중치와 더 적은 계산 자원을 사용했다.
• LIAF-Net은 MNIST-DVS, CIFAR10-DVS, DVS128 Gesture 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 전통적인 LIF-SNN 및 스파이크 기반 통신을 사용하는 SNN을 모두 뛰어넘었다.
• LIAF 모델은 생물학적으로 타당한 것으로 입증되었으며, 인간 피질 피라미드 뉴런에서 관찰된 아날로그 행동 전위의 증거가 그 타당성을 뒷받침한다.
• LIAF-Net은 표준 딥러닝 프레임워크를 직접 사용할 수 있어 스파이크 코딩 형식 변환의 필요성을 제거하고 현대적 학습 기법의 활용을 가능하게 한다.