[論文レビュー] Spiking PointNet: Spiking Neural Networks for Point Clouds

Dayong Ren, Zhe Ma+5 more|arXiv (Cornell University)|Oct 10, 2023

Advanced Memory and Neural Computing被引用数 16

ひとこと要約

Spiking PointNetを提案。点群用の最初のSNNモデルで、訓練を抑制しつつ学習を促進するフレームワークを採用し、単一の時間ステップで訓練し複数の時間ステップで推論することで、ModelNet10/ModelNet40においてANNおよびベースラインSNNより競争力のある、あるいはそれを上回る性能を達成し、膜電位摂動によるさらなる利得を得る。

ABSTRACT

Recently, Spiking Neural Networks (SNNs), enjoying extreme energy efficiency, have drawn much research attention on 2D visual recognition and shown gradually increasing application potential. However, it still remains underexplored whether SNNs can be generalized to 3D recognition. To this end, we present Spiking PointNet in the paper, the first spiking neural model for efficient deep learning on point clouds. We discover that the two huge obstacles limiting the application of SNNs in point clouds are: the intrinsic optimization obstacle of SNNs that impedes the training of a big spiking model with large time steps, and the expensive memory and computation cost of PointNet that makes training a big spiking point model unrealistic. To solve the problems simultaneously, we present a trained-less but learning-more paradigm for Spiking PointNet with theoretical justifications and in-depth experimental analysis. In specific, our Spiking PointNet is trained with only a single time step but can obtain better performance with multiple time steps inference, compared to the one trained directly with multiple time steps. We conduct various experiments on ModelNet10, ModelNet40 to demonstrate the effectiveness of Spiking PointNet. Notably, our Spiking PointNet even can outperform its ANN counterpart, which is rare in the SNN field thus providing a potential research direction for the following work. Moreover, Spiking PointNet shows impressive speedup and storage saving in the training phase.

研究の動機と目的

• 3D点群処理のためのエネルギー効率的なSNNの動機づけ。
• PointNetをスパイキングニューラルフレームワークに適応し、最適化とリソースの課題に対処する。
• 単一の時間ステップを用いる訓練方式を提案するが、複数ステップの推論を活用して性能を向上させる。
• 訓練中の膜電位摂動によって一般化を高める。
• ModelNet10/ModelNet40で有効性を評価し、ANNおよびベーシックSNNと比較する。

提案手法

• PointNetのニューロンをLeaky Integrate-and-Fire (LIF)スパイキングニューロンに置換する。
• 時系列逆伝播のために明示的な反復LIFモデルを使用する。
• 適切なsurrogate kを用いたサロゲート勾配法を適用して勾配流れを管理する。
• 訓練は1時間ステップで行い、推論は複数の時間ステップで行う、訓練は訓練を抑えつつ学習を深めるパラダイムを導入する。
• 訓練時の一般化を改善するために膜電位摂動を組み込む。
• 最適化とメモリ/計算コストの利点に関する理論的根拠と経験的分析を提供する。

Figure 1: The overall of the trained-less but learning-more framework. The Spiking PointNet is trained with only one single time step in the training phase, while is used with multiple time steps in the inference phase. To improve the performance of the SNN, we also add some membrane potential pertu

実験結果

リサーチクエスチョン

• RQ1 Spiking PointNetはPointNetが使うような3D点群にSNNを効果的に適用できるか？
• RQ2 単一の時間ステップで点群用のSNNを訓練しつつ、複数ステップの推論から恩恵を受けることは可能か？
• RQ3 大きな時間ステップに対するトレーニングで、サロゲート勾配の選択(k)は訓練の安定性と性能にどう影響するか？
• RQ4 1ステップ訓練のSNNで膜電位摂動は一般化を改善するか？
• RQ5 Spiking PointNetとANNおよびベーシックSNNのベースラインと比べたエネルギーとメモリの利点は？

主な発見

Dataset	Method	Training time steps	Testing time steps (1)	Testing time steps (2)	Testing time steps (3)	Testing time steps (4)
ModelNet10	Vanilla SNN	4	89.62%	90.83%	91.05%	91.05%
ModelNet10	Ours without MPP	1	91.99%	92.43%	92.53%	92.32%
ModelNet10	Ours with MPP	1	91.66%	92.98%	92.98%	93.31%
ModelNet40	ANN	-	89.20%
ModelNet40	Vanilla SNN	4	85.59%	86.58%	86.34%	86.70%
ModelNet40	Ours without MPP	1	86.98%	87.26%	87.21%	87.13%
ModelNet40	Ours with MPP	1	87.72%	88.46%	88.25%	88.61%

• Spiking PointNetはModelNet10/ModelNet40のいくつかの構成でANNの同等品を上回ることができる。
• 単一の時間ステップで訓練し、複数のステップで推論することで、競争力のある精度を得つつ大時間ステップ訓練に伴う不安定性を回避。
• 適切なkを持つサロゲート勾配（例: 1ステップ訓練のときk=5）は爆発/消失問題を緩和し、性能を改善。
• 膜電位摂動はさらに精度を高め、ModelNet10で4つのテストステップ時に最大93.31%を達成。
• この手法は前方伝搬のエネルギー消費をANNと比べて約15倍削減しつつ高い精度を維持；4ステップ推論はエネルギー節約を大幅に実現する強い精度を提供。
• このフレームワークは複数ステップ推論によるアンサンブル様効果を示唆し、静的な点群に対するロバスト性向上剤として機能する。

Figure 2: Chain rule graph for gradients w.r.t. weights of SNNs