[논문 리뷰] Rockpool Documentation

Dylan R. Muir, Bauer, Felix외 1명|arXiv (Cornell University)|2022. 08. 27.

Advanced Memory and Neural Computing인용 수 14

한 줄 요약

이 논문은 Rockpool와 Xylo 뉴로모픽 프로세서를 사용하여 실시간 오디오 분류를 위한 하이레벨이고 접근하기 쉬운 파이프라인을 제시한다. 이는 1mW 미만의 스파iking 신경망(SNN)을 훈련하고 구현할 수 있게 하며, 동적 전력 소비가 100 µW 미만, 중앙값 지연 시간이 100 ms 이하일 때 98%의 정확도를 달성한다. 이는 SNN 전문 지식이 없이도 저전력 엣지 추론을 가능하게 한다.

ABSTRACT

Rockpool is a Python machine-learning package for designing, building and deploying event-driven neural network applications, particularly for Neuromorphic computing hardware. Rockpool provides a simple and comfortable API for working with spiking neural networks. Along with PyTorch and Jax support, Rockpool provides accellerated training for SNNs, and an extensible deployment pipeline.

연구 동기 및 목표

• 일반적인 DNN 배경을 가진 ML 엔지니어가 SNN 전문 지식 없이도 엣지 애플리케이션을 위한 SNN 설계, 훈련, 배포가 가능하도록 한다.
• 아키텍처 정의에서 하드웨어 배포까지의 엔드 투 엔드 SNN 애플리케이션 개발을 지원하는 일반 목적의 고수준 소프트웨어 파이프라인을 개발한다.
• 실시간 스트리밍 오디오 분류에서 낮은 지연 시간과 높은 정확도를 유지하면서 뉴로모픽 하드웨어에서 1mW 이하의 SNN 추론을 구현한다.
• 기울기 기반 훈련과 하드웨어 인식 양자화를 가능하게 하여 현대 딥러닝 프레임워크와 뉴로모픽 하드웨어 사이의 격차를 메운다.
• 헤어링 헤드셋과 청각 보조기기와 같은 배터리 구동 장치에서 지속적인 주변 오디오 시나리오 분류를 위한 실용적이고 에너지 효율적인 솔루션을 확립한다.

제안 방법

• 오디오 신호에서 다중 척도 시간적 특징을 추출하기 위해 깊이 있는 SNN에 심합 시간 상수의 피라미드를 적용한다.
• 단일 채널 오디오를 16개 주파수 대역(50 Hz–8000 Hz)으로 분리하기 위해 필터 벤드를 사전 처리하고, 전력 에너지 추출을 수행한다.
• Rockpool를 사용하여 SNN을 훈련한다. Rockpool는 자동 미분과 SNN의 기울기 기반 최적화를 지원하는 PyTorch 기반 라이브러리이다.
• 스파iking 동역학을 통해 역전파가 가능한, 종단 간 SNN 훈련을 위해 유사 기울기 경사 하강법을 적용한다.
• Rockpool의 배포 파이프라인을 사용하여 훈련된 SNN을 Xylo 뉴로모픽 추론 프로세서로 양자화하고 매핑한다.
• Xylo에서 스트리밍 모드로 모델을 실행하며, 10 Hz에서 지속적으로 추론을 수행한다(중앙값 지연 시간 100 ms).

실험 결과

연구 질문

• RQ1 Rockpool와 같은 고수준이고 PyTorch에 통합된 프레임워크가 SNN 전문 지식 없이도 SNN 훈련과 배포를 ML 엔지니어에게 접근 가능하게 할 수 있는가?
• RQ2 심합 시간 상수의 피라미드를 가진 피드포워드 SNN이 초저전력 운영을 유지하면서도 오디오 시나리오 분류에서 높은 정확도를 달성할 수 있는가?
• RQ3 유사한 오디오 작업에 대해 Xylo 프로세서의 동적 추론 에너지 소비는 다른 저전력 추론 플랫폼과 비교해 어떻게 되는가?
• RQ4 SNN이 실세계 스트리밍 오디오 애플리케이션에서 최소한의 추론 전력과 낮은 지연 시간으로 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 하드웨어 인식 훈련과 양자화는 뉴로모픽 ASIC에 SNN을 배포할 때 정확도를 얼마나 잘 유지하는가?

주요 결과

• 제안된 SNN 아키텍처는 주변 오디오 시나리오(카페, 홈, 자동차, 거리)를 분류하는 데 있어 QUT-NOISE 데이터셋에서 98%의 정확도를 달성했다.
• 시스템은 Xylo-A2 뉴로모픽 프로세서에서 동적 추론 전력 소비가 100 µW 미만으로 작동했으며, 중앙값 지연 시간은 100 ms였다.
• Xylo 프로세서는 공회전 모드에서 전력 소비가 219 µW에 불과하여 MAX78000의 792–2370 µW보다 현저히 낮아 전체 에너지 효율성을 향상시켰다.
• 추론 당 동적 에너지는 9.3 µJ였고, 추론 당 뉴런당 0.12 µJ였으며, 이는 MAX78000 CNN 프로세서의 효율성과 동일했다.
• Xylo에서의 뉴런당 동적 에너지 0.12 µJ는 보고된 바 중에서 가장 낮은 편이며, 심지어 인텔 로이히보다도 뉴런당 에너지 효율성이 뛰어나다.
• Rockpool는 훈련된 SNN을 Xylo에 최소한의 코드로 원활하게 배포할 수 있게 해주었으며, 산업용 SNN 애플리케이션 개발을 위한 실용적이고 종단 간 워크플로우를 입증했다.