[논문 리뷰] A Spiking Neural Network for Image Segmentation

Kinjal A. Patel, Eric Hunsberger외 2명|arXiv (Cornell University)|2021. 06. 16.

Advanced Memory and Neural Computing참고 문헌 14인용 수 37

한 줄 요약

본 논문은 U-Net을 Intel Loihi에서 구현된 스파이킹 신경망으로 변환하고, 레이트 기반 및 스파이크 기반 모델을 학습시키며, 8비트 양자화를 사용하는 Loihi 기반 파이프라인에서 비슷한 정확도에 비해 에너지 효율을 2배 이상 향상시키는 것을 입증한다.

ABSTRACT

We seek to investigate the scalability of neuromorphic computing for computer vision, with the objective of replicating non-neuromorphic performance on computer vision tasks while reducing power consumption. We convert the deep Artificial Neural Network (ANN) architecture U-Net to a Spiking Neural Network (SNN) architecture using the Nengo framework. Both rate-based and spike-based models are trained and optimized for benchmarking performance and power, using a modified version of the ISBI 2D EM Segmentation dataset consisting of microscope images of cells. We propose a partitioning method to optimize inter-chip communication to improve speed and energy efficiency when deploying multi-chip networks on the Loihi neuromorphic chip. We explore the advantages of regularizing firing rates of Loihi neurons for converting ANN to SNN with minimum accuracy loss and optimized energy consumption. We propose a percentile based regularization loss function to limit the spiking rate of the neuron between a desired range. The SNN is converted directly from the corresponding ANN, and demonstrates similar semantic segmentation as the ANN using the same number of neurons and weights. However, the neuromorphic implementation on the Intel Loihi neuromorphic chip is over 2x more energy-efficient than conventional hardware (CPU, GPU) when running online (one image at a time). These power improvements are achieved without sacrificing the task performance accuracy of the network, and when all weights (Loihi, CPU, and GPU networks) are quantized to 8 bits.

연구 동기 및 목표

• 경쟁력 있는 성능과 에너지 감소를 목표로 컴퓨터 비전에서 확장 가능한 뉴로모픽 접근법을 조사한다.
• Nengo 도구 체인을 사용하여 심층 세분화 아키텍처(U-Net)를 스파이킹 프레임워크로 적응한다.
• 레이트 기반 및 스파이크 기반 SNN 구현을 평가하고 기존 하드웨어 대비 에너지 효율성을 정량화한다.
• Loihi 배치를 위한 칩 간 통신 최적화 및 뉴런 발화율을 개선하는 방법을 개발한다.

제안 방법

• Nengo/NengoLoihi를 사용하여 다운사이즈된 U-Net(238K 뉴런)을 ANN에서 SNN으로 변환하고, 추론을 위한 레이트 기반 ANN-to-SNN 변환과 스파이크 기반 구현을 적용한다.
• 네트워크를 ANN 프레임워크(TensorFlow)로 학습시키고 NengoDL/NengoLoihi로 전이하여 Loihi의 integrate-and-fire 뉴런에 맞추기 위해 특수한 순전파 비선형성을 적용한다.
• 정도 백분위 기반 발화율 정규화 손실을 도입하여 뉴런 발화를 50–200 Hz 범위로 제약하고 정확도와 에너지를 균형있게 한다.
• Loihi 코어에 모델을 배치하고 다중 칩 배치를 위한 칩 간 통신을 최소화하는 분할 알고리즘을 제안한다.
• 가중치를 8비트로 양자화하고 부동소수 가중치를 Loihi의 고정 소수점 표현으로 매핑하기 위한 가중치 스케일링 및 지수 체계를 설계한다.
• 온라인(한 번에 한 이미지) 및 병렬 처리에서 Loihi와 CPU/GPU의 에너지 및 정확도를 벤치마크한다.

실험 결과

연구 질문

• RQ1 U-Net와 유사한 세분화 네트워크를 큰 손실 없이 효과적으로 SNN으로 변환할 수 있는가?
• RQ2 Loihi에서 이미지 세분화를 위한 정확도와 에너지 효율성을 최적 균형시키는 정규화 및 아키텍처 전략은 무엇인가?
• RQ3 다중 칩 분할이 대형 뉴로모픽 세분화 네트워크의 대기 시간 및 에너지 소비에 어떤 영향을 미치는가?
• RQ4 부동소수점 ANN 가중치를 Loihi의 고정 소수점 모델로 매핑하는 실용적인 양자화 및 매핑 방법은 무엇이며 성능을 보존하는가?
• RQ5 레이트 기반과 스파이크 기반 구현은 뉴로모픽 이미지 세분화에서 정확도와 전력에서 어떻게 비교되는가?

주요 결과

• 동일한 수의 뉴런과 가중치를 사용할 때 SNN은 ANN과 유사한 의미적 세분화 성능을 달성한다.
• Loihi 기반 추론은 8비트 양자화 가중치를 사용한 온라인 처리에서 CPU/GPU에 비해 에너지가 두 배 이상 효율적이다.
• 백분위 기반 발화율 정규화가 뉴런의 발화를 50–200 Hz 내로 유지하여 정확도와 에너지를 균형 있게 한다.
• 축소된 U-Net(238K 뉴런)을 갖춘 두 칩 Loihi 배치가 뉴로모픽 이미지 세분화를 위한 확장성을 보여준다.
• 칩 간 통신을 최소화하는 분할 방법은 다중 칩 Loihi 배치에서 속도와 에너지 효율을 향상시킨다.