[논문 리뷰] Spiking Neural Networks for Frame-based and Event-based Single Object Localization

Sami Barchid, José Mennesson외 3명|arXiv (Cornell University)|2022. 06. 13.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 학습 가능한 출력 누적기법을 사용해 프레임 기반 및 이벤트 기반 입력에 모두 적응하는, 표면 기반 경사 하강법로 훈련된 스파iking 신경망(SNN)을 제안한다. 이 방법은 경쟁적인 정확도를 달성하며, 이미지 손상에 대해 뛰어난 내성성을 보이며, 등가의 인공신경망(ANN)에 비해 최대 126.6배 낮은 에너지 소비를 기록한다. 이는 이전의 STDP 기반 SNN 연구와는 다른 신경 코드화 방식에 대한 결과를 보여준다.

ABSTRACT

Spiking neural networks have shown much promise as an energy-efficient alternative to artificial neural networks. However, understanding the impacts of sensor noises and input encodings on the network activity and performance remains difficult with common neuromorphic vision baselines like classification. Therefore, we propose a spiking neural network approach for single object localization trained using surrogate gradient descent, for frame- and event-based sensors. We compare our method with similar artificial neural networks and show that our model has competitive/better performance in accuracy, robustness against various corruptions, and has lower energy consumption. Moreover, we study the impact of neural coding schemes for static images in accuracy, robustness, and energy efficiency. Our observations differ importantly from previous studies on bio-plausible learning rules, which helps in the design of surrogate gradient trained architectures, and offers insight to design priorities in future neuromorphic technologies in terms of noise characteristics and data encoding methods.

연구 동기 및 목표

• 이미지 분류 기준 이외의 단일 객체 위치 특정에서 SNN의 종합적 평가가 부족한 문제를 해결하기 위해.
• 신경 코드화 방식, 센서 노이즈, 입력 모odal(프레임 기반 대비 이벤트 기반)이 SNN의 객체 위치 특정 성능에 미치는 영향을 조사하기 위해.
• 통합 프레임워크 내에서 SNN과 등가의 ANN 간 정확도, 내성성, 추론 효율성, 에너지 효율성의 비교를 위해.
• 표면 기반 경사 하강법 훈련이 코드화 방식 성능에 미치는 영향을 분석함으로써 향후 뉴모르픽 시스템 설계에 통찰을 제공하기 위해.

제안 방법

• 종합적인 객체 위치 특정을 위한 표면 기반 경사 하강법으로 훈련된 컨volutional SNN 아키텍처를 사용한다.
• 출력 누적기 모듈이 이진 스파이크 출력을 처리하여 정밀한 바운딩 박스 예측을 생성한다.
• 모델은 프레임 기반(Oxford-IIIT-Pet) 및 이벤트 기반(N-Caltech101) 데이터셋 모두에서 훈련 및 평가된다.
• 시간 단계와 노이즈 조건을 다양하게 설정하여, 레이트, TTFS, 위상, 샤크레이드, 학습 가능한 코드화 방식 등 다양한 신경 코드화 방식을 체계적으로 평가한다.
• 에너지 소비는 45nm CMOS 공정 모델을 사용해 추정되며, SNN과 등가의 ANN 간 MAC 연산과 스파이크 수를 기반으로 비교된다.
• 일반적인 이미지 손상 조건 하에서 내성성을 평가하고, 시간 단계(T ≤ 8) 범위에서 추론 효율성을 측정한다.

실험 결과

연구 질문

• RQ1 표면 기반 경사 하강법으로 훈련된 SNN의 단일 객체 위치 특정 성능은 등가의 ANN에 비해 정확도, 내성성, 에너지 효율성 측면에서 어떻게 비교되는가?
• RQ2 표면 기반 경사 하강법으로 훈련된 SNN에서 정확도, 추론 속도, 내성성, 에너지 효율성 간 최적의 트레이드오프를 제공하는 신경 코드화 방식은 무엇인가?
• RQ3 다양한 센서 모달리티(프레임 기반 대비 이벤트 기반)와 노이즈 유형은 SNN의 성능과 에너지 소비에 어떤 영향을 미치는가?
• RQ4 표면 기반 경사 하강법으로 훈련된 SNN의 성능 특성은 STDP 또는 생물학적으로 타당한 규칙으로 훈련된 SNN과 어떻게 다를까?

주요 결과

• 제안된 SNN는 등가의 ANN와 유사하거나 뛰어난 정확도를 달성하면서 에너지 소비를 최대 126.6배 감소시켰다.
• 특히 레이트 및 학습 가능한 코드화 방식에서 이미지 손상에 대해 뛰어난 내성성을 보였다.
• 샤크레이드 코드화는 낮은 에너지 소비와 비교적 높은 정확도를 기록했지만, 내성성은 열 劣하였고, TTFS 코드화는 높은 내성성은 보였지만 전반적인 성능은 열 劣하였다.
• 레이트 코드화는 정확도, 추론 효율성, 에너지 효율성 간 최적의 트레이드오프를 제공하였으며, 이는 이전의 STDP 기반 연구에서 TTFS나 샤크레이드를 선호한 것과 다름을 보였다.
• 이벤트 기반 입력은 낮은 스파이크 수를 가지는 코드화 방식보다 상당히 높은 에너지 소비를 요구하여, 이벤트에서 스파이크로의 인코딩 최적화가 필요함을 시사한다.
• 학습 가능한 코드화는 높은 정확도와 내성성을 달성했지만 에너지 비용을 줄이기 위해 정규화가 필요하며, 이는 훈련 시 스파이크 페널티 항목이 도입되어야 함을 시사한다.