[論文レビュー] Synaptic Plasticity Models and Bio-Inspired Unsupervised Deep Learning: A Survey

Gabriele Lagani, Fabrizio Falchi+2 more|arXiv (Cornell University)|Jul 30, 2023

Advanced Memory and Neural ComputingEngineering被引用数 3

ひとこと要約

本調査は、特にヒブ型およびSTDPルールを含む生物学的にインspiredされたシナプス可塑性モデルをレビューし、教師なし深層学習への統合を検討することで、誤差逆伝播に基づく深層学習の主な限界——大量のデータとエネルギー消費、対向的攻撃への脆弱性、生物学的妥当性の欠如——を克服する可能性を示している。これらのメカニズムが局所的で勾配フリーの学習を可能にし、エネルギー効率の高い神経形状コンピューティングを支援することを示している。

ABSTRACT

Recently emerged technologies based on Deep Learning (DL) achieved outstanding results on a variety of tasks in the field of Artificial Intelligence (AI). However, these encounter several challenges related to robustness to adversarial inputs, ecological impact, and the necessity of huge amounts of training data. In response, researchers are focusing more and more interest on biologically grounded mechanisms, which are appealing due to the impressive capabilities exhibited by biological brains. This survey explores a range of these biologically inspired models of synaptic plasticity, their application in DL scenarios, and the connections with models of plasticity in Spiking Neural Networks (SNNs). Overall, Bio-Inspired Deep Learning (BIDL) represents an exciting research direction, aiming at advancing not only our current technologies but also our understanding of intelligence.

研究の動機と目的

• 神経科学と人工知能の間のギャップを埋めるために、生物学的に妥当なシナプス可塑性メカニズムをレビューすること。
• 現在の深層学習の主な限界、特に大規模なラベル付きデータセットへの依存、高いエネルギー消費、対向的入力への脆弱性を解決すること。
• 神経可塑性にインスパイされた教師なし学習メカニズムが、強靭で効率的かつ生物学的に妥当なAIシステムを実現する方法を探索すること。
• 生物的インスパイアされた可塑性を深層学習アーキテクチャおよびスパイクニューラルネットワーク（SNNs）と統合し、神経形状コンピューティングを実現すること。
• STDPのような局所的で勾配フリーの学習ルールが、RBFネットワークのような深層ネットワークにおける消失勾配問題を克服する可能性を強調すること。

提案手法

• 単一ニューロンにおけるヒブ型学習ルールの体系的レビュー、特に共分散ベースおよびオーイェのルールを含み、これらは教師なし特徴抽出をモデル化する。
• 可塑性メカニズムを多ニューロン集団へ拡張し、クラスタリング、主成分分析（PCA）、多様体学習などのパターン発見技術と結びつける。
• STDP（スパイク時刻依存可塑性）の分析：生物学的に妥当なルールであり、シナプス強度の変化が前駆動と後駆動スパイクの時刻差に依存し、二重指数関数的プロファイルに従う。
• 従来の誤差逆伝播と生物的インスパイアされた可塑性を統合したハイブリッドトレーニングフレームワークを用い、性能と生物学的妥当性を両立させる。
• スパイクニューラルネットワーク（SNNs）が、生物学的に現実的な学習を実装する基盤としての役割を果たし、エネルギー効率の高い神経形状ハードウェアへの展開を可能にする。
• 計算上のトレードオフの評価、特にGPUによる並列化戦略とシミュレーションコストの改善を含む。

実験結果

リサーチクエスチョン

• RQ1 ヒブ型およびSTDPに基づくシナプス可塑性ルールは、どのように形式化され、教師なし深層学習アーキテクチャに適用可能か？
• RQ2 教師なし学習アルゴリズム（例：PCA、クラスタリング）と神経集団における生物的インスパイアされた可塑性メカニズムとの間にはどのような関係があるか？
• RQ3 生物的インスパイアされた可塑性ルールは、深層学習における対向的攻撃への耐性を向上させるとともに、データおよびエネルギー消費を低減するのにどのように寄与するか？
• RQ4 STDPおよびSNNsは、神経形状ハードウェア上で効率的で低消費電力の推論および学習をどのように実現できるか？
• RQ5 勾配ベースの誤差逆伝播と局所的で生物学的に妥当な学習ルールを、深層ネットワークで組み合わせるにあたり、どのような課題と機会があるか？

主な発見

• STDPはスパイクニューロンにおいてヒブの原則を実装し、前駆動スパイクが後駆動スパイクの前に発生する場合にシナプスを強化する。重みの変化は、スパイク時刻差の二重指数関数的関数に従う。
• オーイェのルールを含むヒブ型学習ルールは、主成分分析（PCA）に相当する教師なし特徴抽出を可能にし、生物学的に妥当な方法で次元削減を実現する。
• 特にSTDPを含む生物的インスパイアされた可塑性メカニズムは、局所的で勾配フリーのトレーニングを支援し、消失勾配問題を緩和し、RBFネットワークのような深層アーキテクチャの効率的トレーニングを可能にする。
• STDPでトレーニングされたスパイクニューラルネットワーク（SNNs）は、スパarsなイベント駆動計算を活用し、神経形状ハードウェアに適したエネルギー効率の高いAIへの道筋を提供する。
• 誤差逆伝播と生物的インスパイアされた可塑性を統合したハイブリッドトレーニングフレームワークは、性能と生物学的妥当性のバランスを取る上で有望であるが、純粋な誤差逆伝播法に比べて性能はまだ劣る。
• 神経科学的知見と工学的手法の統合は、両分野に相互に利益をもたらし、AIの発展だけでなく、脳機能の理解の深化にも寄与する。