[논문 리뷰] Biologically Plausible Learning of Text Representation with Spiking Neural Networks

Marcin Białas, Marcin Mirończuk외 1명|arXiv (Cornell University)|2020. 06. 26.

Advanced Memory and Neural Computing참고 문헌 44인용 수 6

한 줄 요약

이 논문은 비정상적인 자극에 의한 시간 의존성 가소성(STDP) 학습을 통해 저차원 스파iking 기반 텍스트 표현을 학습하기 위한 생물학적으로 타당한 스파iking 신경망(SNN) 프레임워크를 제안한다. 텍스트는 스파이크 트레인으로 변환되며, SNN 인코더가 압축되고 분류에 유용한 표현을 생성한다. 20 newsgroups bydate 데이터셋에서 80.19%의 정확도를 기록하여, 저차원 출력을 사용하는 기존 얕은 모델들을 능가한다.

ABSTRACT

This study proposes a novel biologically plausible mechanism for generating low-dimensional spike-based text representation. First, we demonstrate how to transform documents into series of spikes spike trains which are subsequently used as input in the training process of a spiking neural network (SNN). The network is composed of biologically plausible elements, and trained according to the unsupervised Hebbian learning rule, Spike-Timing-Dependent Plasticity (STDP). After training, the SNN can be used to generate low-dimensional spike-based text representation suitable for text/document classification. Empirical results demonstrate that the generated text representation may be effectively used in text classification leading to an accuracy of $80.19\%$ on the bydate version of the 20 newsgroups data set, which is a leading result amongst approaches that rely on low-dimensional text representations.

연구 동기 및 목표

• 스파iking 신경망을 사용하여 생물학적으로 타당한 방법으로 저차원 스파킹 기반 텍스트 표현을 학습하는 것.
• 텍스트 데이터의 고차원성을 스파이크 트레인으로 변환하고 SNN 인코더를 통해 차원 축소를 수행함으로써 도전 과제를 해결하는 것.
• 네트워크 아키텍처, 억제, 시냅스 절단이 표현 품질과 분류 성능에 미치는 영향을 평가하는 것.
• 자연어 처리 분야에서 향후 깊은 SNN 아키텍처의 기초를 마련하는 것.

제안 방법

• 문서 텍스트는 어근 빈도 기반의 희박하고 고정 주파수 인코딩 방식을 사용하여 스파이크 트레인으로 변환된다.
• 흥분성 및 억제성 뉴런을 포함한 스파킹 신경망(SNN)이 비지도 STDP 학습을 통해 저차원 표현을 학습한다.
• SNN 인코더는 후속 분류에 적합한 압축되고 저차원의 스파킹 기반 출력 표현을 생성한다.
• 학습 안정성과 표현 품질 향상을 위해 시냅스 가중치 감쇠와 적응형 억제를 적용한다.
• 학습 후 가장 낮은 가중치를 가진 연결을 절단하여 내성과 계산 효율성의 영향을 평가한다.
• 문서 분류를 위해 SNN의 최종 출력에 선형 분류기(Logistic Regression)를 적용한다.

실험 결과

연구 질문

• RQ1 생물학적으로 타당한 SNN은 비지도 STDP 학습을 통해 원시 텍스트 입력으로부터 의미 있는 저차원 스파킹 기반 표현을 학습할 수 있는가?
• RQ2 억제 기능의 포함 여부가 학습된 텍스트 표현의 품질에 어떤 영향을 미치는가?
• RQ3 분류 성능이 저하되지 않도록 시냅스 연결을 어느 정도까지 절단할 수 있는가?
• RQ4 SNN 인코더의 크기가 결과 텍스트 표현의 정확도에 어떤 영향을 미치는가?
• RQ5 기존의 저차원 텍스트 표현을 생성하는 얕은 모델들과 비교해 본다면, 제안된 방법은 어떠한가?

주요 결과

• 제안된 SNN 기반 텍스트 표현은 20 newsgroups bydate 데이터셋에서 80.19%의 분류 정확도를 기록하여, 저차원 출력을 사용하는 얕은 모델 중 최고 성능을 기록했다.
• 평가 중 억제 기능을 비활성화하면 분류 성능이 크게 향상되어, 추론 단계에서 억제가 표현 학습을 방해할 수 있음을 시사한다.
• 가장 약한 시냅스 연결을 최대 90%까지 절단해도 정확도에 부정적 영향을 미치지 않아, 학습된 표현의 높은 재undancy와 내성성을 시사한다.
• 최고의 성능는 2,200개의 뉴런을 가진 SNN 인코더와 90% 절단 조건에서 달성되었으며, 치밀한 절단 후에도 77.5% 이상의 정확도를 유지했다.
• 1,100개 이하의 SNN은 크기가 증가함에 따라 정확도가 급격히 향상되었고, 더 큰 네트워크에서는 성능 향상 속도가 느려져 성능 스케일링의 포화점이 존재함을 시사한다.
• 이 방법은 입력 차원을 약 130,000(어휘 크기)에서 550~2,200개의 뉴런으로 효과적으로 압축하여, 유지된 분류 능력을 갖춘 강력한 차원 축소 성능를 입증했다.