[논문 리뷰] Spiking Convolutional Neural Networks for Text Classification

Changze Lv, Jianhan Xu외 1명|arXiv (Cornell University)|2024. 06. 27.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 사전 학습된 단어 임베딩을 활용하고 에너지 사용을 크게 줄이면서 경쟁력 있는 정확도를 달성하는 두 단계 훈련 방법(전환 및 파인튜닝)을 도입하여 텍스트 분류를 위한 스파이킹 신경망(SNN)을 구축하고, 또한 적대적 견고성을 향상시키는 방법을 제시한다.

ABSTRACT

Spiking neural networks (SNNs) offer a promising pathway to implement deep neural networks (DNNs) in a more energy-efficient manner since their neurons are sparsely activated and inferences are event-driven. However, there have been very few works that have demonstrated the efficacy of SNNs in language tasks partially because it is non-trivial to represent words in the forms of spikes and to deal with variable-length texts by SNNs. This work presents a "conversion + fine-tuning" two-step method for training SNNs for text classification and proposes a simple but effective way to encode pre-trained word embeddings as spike trains. We show empirically that after fine-tuning with surrogate gradients, the converted SNNs achieve comparable results to their DNN counterparts with much less energy consumption across multiple datasets for both English and Chinese. We also show that such SNNs are more robust to adversarial attacks than DNNs.

연구 동기 및 목표

• 에너지 효율적인 NLP를 위한 스파이킹 신경망의 가능성을 제시하고 텍스트 표현과 가변 길이 입력의 도전과제를 다룬다.
• SNN을 NLP tasks에 적용하기 위한 두 단계 학습 레시피(전환 + 파인튜닝)를 제안한다.
• SNN이 임베딩을 뽑아 스파이크 트레인으로 변환하게 하여 대규모 언어 표현을 활용하도록 하는 방법을 개발한다.
• SNN이 영어 및 중국어 데이터셋에서 에너지 소비를 줄이면서 경쟁력 있는 정확도와 악의적 공격에 대한 견고성 향상을 보임을 보여준다.

제안 방법

• 일반적인 TextCNN을 변환 가능한 DNN으로 맞춤화하기 위해 최대 풀링을 평균 풀링으로 대체하고, 바이어스(disBias)를 제거하며, 양의 활성화를 보장한다.
• 사전 학습된 단어 임베딩을 양의 값 벡터로 변환하여 스파이크 기반 입력 표현을 가능하게 한다.
• 맞춤화된 DNN을 스파이킹 신경망으로 변환하기 위해 아키텍처/가중치를 중복하고 활성화를 레이키/통합-발화 뉴런으로 교체한다.
• 임베딩에서 포아송으로 생성된 스파이크 트레인을 활용한 서페이트-그래디언트 역전파(시간에 걸친)로 변환된 SNN을 미세조정한다.
• 소프트맥스가 각 단계에서 예측에 사용되도록 하면서 시간 축을 따라 SNN을 학습시키는 교차 엔트로피 스파이크-레이트 손실(KL 발산 스타일)을 사용한다.
• 임베딩 사용 여부와 변환 필요성에 대한 차별적 실험을 포함하여 에너지 효율성과 견고성을 평가한다.

Figure 1: An illustration of a two-step method (conversion + fine-tuning) for training spiking neural networks for text classification: initialize an SNN with the weights of a tailored network trained with the gradient descent, and perform backpropagation with surrogate gradients on the converted SN

실험 결과

연구 질문

• RQ1 두 단계의 변환 + 파인튜닝 전략이 텍스트 분류용 효과적인 SNN을 학습시킬 수 있는가?
• RQ2 스파이크 트레인으로 변환될 때 사전 학습된 단어 임베딩이 SNN 성능에 유의미한 이점을 제공하는가?
• RQ3 변환+파인튜닝된 SNN이 영어 및 중국어 데이터셋에서 DNN 대비 정확도와 에너지 효율성 측면에서 어떤 차이가 있는가?
• RQ4 NLP 작업에서 SNN이 전통적인 DNN보다 적대적 공격에 더 견고한가?
• RQ5 하이퍼파라미터(시간 단계, 막전류 임계값, 감쇠)가 성능 및 에너지 사용에 미치는 영향은 무엇인가?

주요 결과

방법	MR	SST-2	주제	SST-5	ChnSenti	Waimai
Original TextCNN	77.41 ± 0.22	83.25 ± 0.16	94.00 ± 0.22	45.48 ± 0.16	86.74 ± 0.15	88.49 ± 0.16
Tailored TextCNN	76.94 ± 0.25	83.03 ± 0.21	91.50 ± 0.12	43.48 ± 0.13	85.79 ± 0.15	88.21 ± 0.15
Directly-trained SNN	51.55 ± 1.31	75.73 ± 0.91	53.30 ± 1.80	23.08 ± 0.56	63.18 ± 0.42	66.42 ± 0.39
Conv SNN	74.13 ± 0.97	80.07 ± 0.78	90.40 ± 0.39	41.40 ± 0.73	84.16 ± 0.62	86.43 ± 0.43
Conv SNN + MN	74.70 ± 0.52	79.90 ± 0.61	89.40 ± 0.57	40.59 ± 1.13	84.89 ± 0.32	85.21 ± 0.46
Conv SNN + DN	74.19 ± 0.78	80.67 ± 0.95	90.30 ± 0.86	40.63 ± 1.78	83.73 ± 0.35	86.33 ± 0.35
Conv SNN + FT	75.45 ± 0.51	80.91 ± 0.34	90.60 ± 0.32	41.63 ± 0.44	85.02 ± 0.22	86.66 ± 0.17

• Conv SNN + FT는 여섯 개 데이터셋에서 원래 TextCNN에 근접한 경쟁력 있는 정확도를 달성하며, 영어에서 평균 약 2.51%의 감소, 중국어에서 1.78%의 감소를 보인다.
• 파인튜닝된 SNN은 비파인튜닝 전환 대비 최대 1.32%의 개선과 출력 분산 감소를 보인다.
• 전환 + 파인튜닝으로 학습된 SNN은 TextCNN 대비 평균적으로 10배가 넘는 에너지 절감 효과를 보인다.
• SNN은 adversarial 공격에 대한 견고성이 향상되며, 평가된 데이터셋에서 평균 견고 정확도 증가가 13.55%이고 공격 성공률 감소가 약 17%에 이른다.
• 차수별 분석 결과 변환이 필수적임이 확인되었고, 사전 학습 임베딩을 사용하는 것이 무작위 임베딩 대비 측정 가능한 성능 이득(최대 약 1.39% 증가)을 제공한다.

(b) Backpropagation through time (BPTT)