[論文レビュー] Biologically Plausible Learning of Text Representation with Spiking Neural Networks

Marcin Białas, Marcin Mirończuk+1 more|arXiv (Cornell University)|Jun 26, 2020

Advanced Memory and Neural Computing参考文献 44被引用数 6

ひとこと要約

本論文は、非教師ありスパイク時刻依存可塑性（STDP）学習を用いて、低次元のスパイクベースのテキスト表現を学習する生物学的に妥当なスパイキングニューラルネットワーク（SNN）フレームワークを提案する。テキストはスパイクトレインに変換され、SNNエンコーダーがコン act で判別力のある表現を生成する。20 newsgroups bydate データセットで80.19%の正確性を達成し、低次元出力を利用する既存の浅い手法を上回る。

ABSTRACT

This study proposes a novel biologically plausible mechanism for generating low-dimensional spike-based text representation. First, we demonstrate how to transform documents into series of spikes spike trains which are subsequently used as input in the training process of a spiking neural network (SNN). The network is composed of biologically plausible elements, and trained according to the unsupervised Hebbian learning rule, Spike-Timing-Dependent Plasticity (STDP). After training, the SNN can be used to generate low-dimensional spike-based text representation suitable for text/document classification. Empirical results demonstrate that the generated text representation may be effectively used in text classification leading to an accuracy of $80.19\%$ on the bydate version of the 20 newsgroups data set, which is a leading result amongst approaches that rely on low-dimensional text representations.

研究の動機と目的

• スパイキングニューラルネットワークを用いて、非教師ありSTDP学習により生物学的に妥当な低次元のスパイクベースのテキスト表現を学習する方法を開発すること。
• テキストデータの高次元性に挑むために、テキストをスパイクトレインに変換し、次元削減を目的としたSNNエンコーダーを訓練すること。
• ネットワークアーキテクチャ、抑制、シナプスの刈り込みが表現品質および分類性能に与える影響を評価すること。
• 自然言語処理における将来的な深層SNNアーキテクチャの基盤を構築すること。

提案手法

• 文書は、語彙頻度に基づくスパarsな固定周波数符号化方式を用いてスパイクトレインに変換される。
• 興奮性および抑制性ニューロンを有するスパイキングニューラルネットワーク（SNN）が、非教師ありスパイク時刻依存可塑性（STDP）を用いて低次元表現を学習するために訓練される。
• SNNエンコーダーは、下流の分類に適したコン act で低次元のスパイクベースの出力表現を生成する。
• 学習の安定化と表現品質の向上を目的として、シナプス重み減衰と適応的抑制が採用される。
• 訓練後、最も重みが小さい接続が刈り込まれ、耐障害性および計算効率が評価される。
• 文書分類のため、SNNの最終出力に線形分類器（ロジスティック回帰）が適用される。

実験結果

リサーチクエスチョン

• RQ1 生物学的に妥当なSNNは、非教師ありSTDP学習を用いて、生のテキスト入力から意味的で低次元のスパイクベースの表現を学習できるか？
• RQ2 抑制の導入が、学習されたテキスト表現の品質にどのように影響するか？
• RQ3 分類性能を劣化させることなく、どの程度までシナプス接続を刈り込めるか？
• RQ4 SNNエンコーダーのサイズが、得られるテキスト表現の正確性にどのように影響するか？
• RQ5 本手法は、低次元出力を生成する既存の浅いモデルと比較して、どのように異なるか？

主な発見

• 提案されたSNNベースのテキスト表現は、20 newsgroups bydate データセットで80.19%の分類正確性を達成し、低次元出力を利用する浅いモデルの中で新たな最先端を記録した。
• 評価時に抑制を無効化すると、分類性能が著しく向上した。これは、推論段階で抑制が表現学習を妨げている可能性を示唆している。
• 最も弱いシナプス接続を最大90％まで刈り込んでも正確性に悪影響がなく、学習された表現に高い再冗長性と耐障害性があることを示した。
• 最高の性能は、2,200ニューロンのSNNエンコーダーと90％の刈り込みで達成され、過酷な刈り込み後でも77.5％以上の正確性を維持した。
• 1,100ニューロン未満の小さなSNNでは、サイズの増加に伴い正確性が急速に向上したが、大きなネットワークでは改善が鈍くなった。これは、性能スケーリングに飽和点があることを示唆している。
• 本手法は、入力次元を約130,000（語彙サイズ）から550〜2,200ニューロンにまで強力に次元削減し、判別力は保持した。