[論文レビュー] Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits

Alexander G. Ororbia|arXiv (Cornell University)|Mar 30, 2023

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本論文は、下位から上位および横方向の信号によって駆動される局所的でレイヤー単位の膜電位ダイナミクスを活用することで、フィードバック経路を必要とせず、信用配分を可能にする、スパイクニューラルネットワーク向けの前向きのみの学習ルール、対照的信号依存可塑性（CSDP）を提案する。CSDPは、イベントベースの自己教師あり学習を通じて、再帰的スパイクニューラルネットワークにおいて画像データの有効な分類と再構成を実現し、神経形状ハードウェア上でのエネルギー効率が高く、脳にインスパイアされた計算の実現可能性を示している。

ABSTRACT

Brain-inspired machine intelligence research seeks to develop computational models that emulate the information processing and adaptability that distinguishes biological systems of neurons. This has led to the development of spiking neural networks, a class of models that promisingly addresses the biological implausibility and {the lack of energy efficiency} inherent to modern-day deep neural networks. In this work, we address the challenge of designing neurobiologically-motivated schemes for adjusting the synapses of spiking networks and propose contrastive-signal-dependent plasticity, a process which generalizes ideas behind self-supervised learning to facilitate local adaptation in architectures of event-based neuronal layers that operate in parallel. Our experimental simulations demonstrate a consistent advantage over other biologically-plausible approaches when training recurrent spiking networks, crucially side-stepping the need for extra structure such as feedback synapses.

研究の動機と目的

• フィードバック経路を必要とせず、死にゆく計算の原則に整合する神経模倣的でスパイクニューラルネットワークアーキテクチャの開発を目的とする。
• 時間的に完全に前向きに作用する対照的信号依存可塑性ルールを導入することで、前向き・前向き学習をスパイク系に一般化することを目的とする。
• 分類と再構成の両方をサポートする、前後不活性な局所的前駆動活性のみを用いた、再帰的SNNにおける安定でオンラインなシナプス適応を実現することを目的とする。
• 神経形状プラットフォーム上でのエネルギー効率の高いAIのため、スパイク回路における自己教師ありでイベントベースの学習の実現可能性を示すこと。
• 側方抑制と動的膜電位計算を統合することで、誤差逆伝播法や予測コーディングの生物学的に妥当な代替手段を提供すること。

提案手法

• CSDPは、各ニューロンの膜電位を、局所的な下位から上位および横方向のシナプス入力の関数として計算し、動的でレイヤー単位の並列計算を可能にする。
• シナプス可塑性ルールは、刺激に対する正のと負の活性化パターンの対比に基づいて重みを調整するが、誤差の逆伝播を必要としない。
• モデルは、スパイクが離散的イベントとして作用する刺激ウィンドウにわたるイベントベース処理を用いる。
• 層内での競争的ダイナミクスを支援するために、側方抑制が組み込まれている。
• 学習ルールは、別個のフィードバック経路や誤差信号伝送を必要としない、完全に前向きの原則から導出されている。
• 再帰的アーキテクチャにより、入力パターンの時間的統合が可能となり、分類と再構成の両方のタスクが実現できる。

実験結果

リサーチクエスチョン

• RQ1 スパイクニューラルネットワークは、フィードバック経路や誤差逆伝播を必要とせず、安定した自己教師あり学習を実行できるか？
• RQ2 対照的学習の原則を、再帰的SNNにおけるイベントベースのスパイクトレイン処理にどのように適応できるか？
• RQ3 局所的で前向きのみのシナプス可塑性は、感覚入力の正確な分類と再構成を両立できるか？
• RQ4 上位から下位および横方向の信号は、フィードバックなしのスパイクニューラルネットワークにおける動的でレイヤー単位の計算にどのように寄与するか？
• RQ5 CSDP学習は、生物学的妥当性を保ちつつ、神経形状ハードウェア上で効率的に実装可能か？

主な発見

• CSDPは、前方伝播と局所的信号のみを用いて、再帰的スパイクニューラルネットワークで画像データの有効な分類を実現した。
• モデルは時間経過とともに入力画像を成功裏に再構成し、分散表現の学習能力を示した。
• フィードバック経路や誤差逆伝播の欠如が性能に悪影響を及ぼさないことが確認され、SNNにおける前向きのみの学習の有効性が裏付けられた。
• 側方抑制の組み込みにより表現学習が向上し、皮質計算における既知のメカニズムと整合した。
• この手法は神経形状ハードウェアと互換性があり、エッジAIのための低消費電力でオンチップ学習への道筋を示した。
• CSDPは、誤差逆伝播法や予測コーディングの生物学的に妥当な代替手段を提供し、スケーラブルでエネルギー効率の高いAIシステムへの応用が期待される。