[論文レビュー] Spiking Convolutional Neural Networks for Text Classification

Changze Lv, Jianhan Xu+1 more|arXiv (Cornell University)|Jun 27, 2024

Neural Networks and Applications被引用数 8

ひとこと要約

この論文は、変換後のファイントゥーンニングという二段階訓練法を提案し、テキスト分類のためのスパイキングニューラルネットワーク（SNN）を構築する。事前学習された語彙埋め込みを活用し、エネルギー消費を大幅に抑えつつ競争力のある精度を達成するとともに、対抗摂動耐性の改善も示す。

ABSTRACT

Spiking neural networks (SNNs) offer a promising pathway to implement deep neural networks (DNNs) in a more energy-efficient manner since their neurons are sparsely activated and inferences are event-driven. However, there have been very few works that have demonstrated the efficacy of SNNs in language tasks partially because it is non-trivial to represent words in the forms of spikes and to deal with variable-length texts by SNNs. This work presents a "conversion + fine-tuning" two-step method for training SNNs for text classification and proposes a simple but effective way to encode pre-trained word embeddings as spike trains. We show empirically that after fine-tuning with surrogate gradients, the converted SNNs achieve comparable results to their DNN counterparts with much less energy consumption across multiple datasets for both English and Chinese. We also show that such SNNs are more robust to adversarial attacks than DNNs.

研究の動機と目的

• スパイキングニューラルネットワークを用いたエネルギー効率の高いNLPを動機づけ、テキストの表現と可変長入力の課題に対処する。
• NLPタスクのためのSNNを訓練する二段階の訓練レシピ（変換＋ファイントゥーん）を提案する。
• 事前学習済み語彙埋め込みをスパイク列へ変換する方法を開発し、SNNが大規模言語表現を利用できるようにする。
• SNNが英語と中国語データセットにおいてエネルギー消費を減らしつつ競争力のある精度と対抗摂動耐性を示すことを実証する。

提案手法

• 従来のTextCNNを、最大プーリングを平均プーリングに置換し、バイアスを除去し、正の活性化を保証することで変換に適したDNNへと調整する。
• 事前学習済み語彙埋め込みを正値ベクトルへ変換し、スパイクベースの入力表現を可能にする。
• 調整済みDNNをアーキテクチャ/重みを複製し、活性化を漏れ伝導型ニューロンへ置換してスパイキングニューラルネットへ変換する。
• 埋め込みからのポアソン生成スパイク列を用いた代理勾配法によるバックプロパゲーション（時間を通じて）で変換後のSNNをファイントゥーんする。
• 各時刻ステップでSoftmaxを用いた予測を行い、SNNを時間ステップ Across のクロスエントロピー型スパイクレート損失（KL発散風）で訓練する。
• 埋め込みの使用と変換の必要性に関するアブレーションを含む、エネルギー効率と頑健性を評価する。

Figure 1: An illustration of a two-step method (conversion + fine-tuning) for training spiking neural networks for text classification: initialize an SNN with the weights of a tailored network trained with the gradient descent, and perform backpropagation with surrogate gradients on the converted SN

実験結果

リサーチクエスチョン

• RQ1 二段階の変換＋ファイントゥーん戦略はテキスト分類の効果的なSNNを訓練できるか。
• RQ2 変換されたスパイク列となった事前学習済み語彙埋め込みはSNNの性能に有意な利点をもたらすか。
• RQ3 変換＋ファイントゥーんを行ったSNNは、英語と中国語のデータセットでDNNの対戦相手と比べて精度とエネルギー効率の点でどうなるか。
• RQ4 NLPタスクにおいてSNNは従来のDNNより対抗的攻撃に対して頑健か。
• RQ5 パラメータ（時間ステップ、膜閾値、減衰）の影響は性能とエネルギー使用にどう影響するか。

主な発見

方法	MR	SST-2	Subj	SST-5	ChnSenti	Waimai
Original TextCNN	77.41 ± 0.22	83.25 ± 0.16	94.00 ± 0.22	45.48 ± 0.16	86.74 ± 0.15	88.49 ± 0.16
Tailored TextCNN	76.94 ± 0.25	83.03 ± 0.21	91.50 ± 0.12	43.48 ± 0.13	85.79 ± 0.15	88.21 ± 0.15
Directly-trained SNN	51.55 ± 1.31	75.73 ± 0.91	53.30 ± 1.80	23.08 ± 0.56	63.18 ± 0.42	66.42 ± 0.39
Conv SNN	74.13 ± 0.97	80.07 ± 0.78	90.40 ± 0.39	41.40 ± 0.73	84.16 ± 0.62	86.43 ± 0.43
Conv SNN + MN	74.70 ± 0.52	79.90 ± 0.61	89.40 ± 0.57	40.59 ± 1.13	84.89 ± 0.32	85.21 ± 0.46
Conv SNN + DN	74.19 ± 0.78	80.67 ± 0.95	90.30 ± 0.86	40.63 ± 1.78	83.73 ± 0.35	86.33 ± 0.35
Conv SNN + FT	75.45 ± 0.51	80.91 ± 0.34	90.60 ± 0.32	41.63 ± 0.44	85.02 ± 0.22	86.66 ± 0.17

• Conv SNN + FTは、元のTextCNNに近い競争的な精度を6つのデータセットで達成し、英語で平均約2.51%、中国語で1.78%の小さな低下を示した。
• ファイントゥーん済みSNNは、非ファイントゥーん変換と比較して最大1.32%の改善を示し、出力分散を減少させる。
• 変換＋ファイントゥーんで訓練されたSNNは、TextCNNと比較して平均で10倍超のエネルギー削減など、顕著なエネルギー節約を示す。
• SNNは対抗的攻撃に対して頑健性を示し、評価データセット全体で平均的な頑健性精度の向上が13.55%、攻撃成功率の低下が約17%となった。
• アブレーションによると変換は必須であり、事前学習済み埋め込みを使用することで、ランダム埋め込みに比べて最大約1.39%の性能向上など、測定可能な利点が得られる。

(b) Backpropagation through time (BPTT)