[논문 리뷰] Spiking PointNet: Spiking Neural Networks for Point Clouds

Dayong Ren, Zhe Ma외 5명|arXiv (Cornell University)|2023. 10. 10.

Advanced Memory and Neural Computing인용 수 16

한 줄 요약

Spiking PointNet은 점 구름에 대한 최초의 SNN 모델로, 한 번의 시간 단계로 학습하고 여러 시간 단계로 추론하는 학습-적은 but 학습-많은 프레임워크를 사용하여 ModelNet10/ModelNet40에서 ANN 및 기본 SNN보다 경쟁력 있거나 더 나은 성능을 달성하며, 막膜 전위扰动을 통한 추가 이득을 제공합니다.

ABSTRACT

Recently, Spiking Neural Networks (SNNs), enjoying extreme energy efficiency, have drawn much research attention on 2D visual recognition and shown gradually increasing application potential. However, it still remains underexplored whether SNNs can be generalized to 3D recognition. To this end, we present Spiking PointNet in the paper, the first spiking neural model for efficient deep learning on point clouds. We discover that the two huge obstacles limiting the application of SNNs in point clouds are: the intrinsic optimization obstacle of SNNs that impedes the training of a big spiking model with large time steps, and the expensive memory and computation cost of PointNet that makes training a big spiking point model unrealistic. To solve the problems simultaneously, we present a trained-less but learning-more paradigm for Spiking PointNet with theoretical justifications and in-depth experimental analysis. In specific, our Spiking PointNet is trained with only a single time step but can obtain better performance with multiple time steps inference, compared to the one trained directly with multiple time steps. We conduct various experiments on ModelNet10, ModelNet40 to demonstrate the effectiveness of Spiking PointNet. Notably, our Spiking PointNet even can outperform its ANN counterpart, which is rare in the SNN field thus providing a potential research direction for the following work. Moreover, Spiking PointNet shows impressive speedup and storage saving in the training phase.

연구 동기 및 목표

• 3D 포인트 클라우드 처리를 위한 에너지 효율적 SNN의 동기를 제공합니다.
• PointNet을 스파이킹 신경망 프레임워크로 адапт하고 최적화 및 자원 문제를 해결합니다.
• 단일 시간 단계로 학습하고 다중 단계 추론을 활용하여 성능을 향상시키는 학습 scheme을 제안합니다.
• 학습 중 일반화 능력을 향상시키기 위해 막전위扰动를 사용합니다.
• ModelNet10/ModelNet40에서의 효과를 평가하고 ANN 및 일반 SNN과의 비교를 수행합니다.

제안 방법

• PointNet의 뉴런을 Leaky Integrate-and-Fire (LIF) 스파이킹 뉴런으로 대체합니다.
• 역전파를 위한 명시적 반복 LIF 모델을 사용합니다.
• 그래디언트 흐름 관리용 조정 가능한 surrogates k를 갖는 대리 그래디언트 방법을 적용합니다.
• 훈련은 1개의 시간 단계로, 추론은 다중 시간 단계로 하는 trained-less but learning-more 패러다임을 도입합니다.
• 훈련 중 일반화를 개선하기 위해 막전위扰动를 도입합니다.
• 최적화 및 메모리/계산 이점을 이론적으로 정당화하고 실증적으로 분석합니다.

Figure 1: The overall of the trained-less but learning-more framework. The Spiking PointNet is trained with only one single time step in the training phase, while is used with multiple time steps in the inference phase. To improve the performance of the SNN, we also add some membrane potential pertu

실험 결과

연구 질문

• RQ1 SNN이 PointNet에서 사용되는 3D 포인트 클라우드에 효과적으로 적용될 수 있는가?
• RQ2 단일 시간 단계로 포인트 클라우드용 SNN을 학습하고 다중 단계 추론의 이점을 얻을 수 있는가?
• RQ3 대형 시간 단계에서의 훈련 안정성과 성능에 미치는 surrogate gradient 선택(k)의 영향은 무엇인가?
• RQ4 1-단계로 학습된 SNN에서 막전위扰动가 일반화를 개선하는가?
• RQ5 Spiking PointNet이 ANN 및 일반 SNN 기준 대비 에너지 및 메모리 이점은 무엇인가?

주요 결과

• Spiking PointNet은 일부 구성에서 ModelNet10/ModelNet40에서 그 사이의 ANN 상대보다 우수한 성능을 보일 수 있습니다.
• 단일 시간 단계로 학습하고 다중 단계로 추론하는 방식은 경쟁력 있는 정확도를 제공하고 대형 시간 단계 학습에서 발생하는 불안정성을 피합니다.
• 적절한 k(예: 1-단계 학습의 경우 k=5)로 설정된 surrogate gradient는 폭발/소멸 문제를 완화하고 성능을 향상시킵니다.
• 막전위扰动는 일반화를 further 향상시켜 ModelNet10에서 4개의 테스트 단계에서 최대 93.31%의 정확도를 달성합니다.
• 전방 패스에서 ANN 대비 약 15배의 에너지 절감 효과를 제공하면서도 높은 정확도를 유지합니다; 네 단계 추론은 상당한 에너지 절감으로 강한 정확도를 제공합니다.
• 이 프레임워크는 다중 단계 추론에서의 앙상블 유사 효과를 시사하며 고정 점 구름에 대한 강건성 증가를 제공합니다.

Figure 2: Chain rule graph for gradients w.r.t. weights of SNNs