[論文レビュー] The computational and learning benefits of Daleian neural networks

Adam Haber, Elad Schneidman|arXiv (Cornell University)|Oct 12, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本稿では、Dale型ニューラルネットワーク（ニューロンが厳密に興奮性または抑制性に分類されるもの）が、極めて小さいアーキテクチャスケルチングスペースを持つにもかかわらず、非Dale型ネットワークの計算を高い精度で近似できることを示している。驚くべきことに、Dale型ネットワークはシナプスノイズに対して優れた耐性を示し、従来のシナプス重み学習に匹敵する効率的なニューロンレベルのパrameterチューニングによって学習が可能である。これは、脳にインspiredされた人工ネットワークにとって生物学的および計算的利点を示唆している。

ABSTRACT

Dale's principle implies that biological neural networks are composed of neurons that are either excitatory or inhibitory. While the number of possible architectures of such Daleian networks is exponentially smaller than non-Daleian ones, the computational and functional implications of using Daleian networks by the brain are mostly unknown. Here, we use models of recurrent spiking neural networks and rate-based networks to show, surprisingly, that despite the structural limitations on Daleian networks, they can approximate the computation performed by non-Daleian networks to a very high degree of accuracy. Moreover, we find that Daleian networks are more functionally robust to synaptic noise. We then show that unlike non-Daleian networks, Daleian ones can learn efficiently by tuning single neuron features, nearly as well as learning by tuning individual synaptic weights - suggesting a simpler and more biologically plausible learning mechanism. We thus suggest that in addition to architectural simplicity, Dale's principle confers computational and learning benefits for biological networks, and offers new directions for constructing and training biologically-inspired artificial neural networks

研究の動機と目的

• Daleの原則（ニューロンを興奮性または抑制性のいずれかに限定する）がニューラルネットワークに計算上の不利要因をもたらすかどうかを調査すること。
• 刺激の符号化と計算処理の観点から、Dale型と非Dale型の再帰的ニューラルネットワークの機能的容量を比較すること。
• シナプスノイズに対するDale型ネットワークの耐性と、ニューロンレベルとシナプスレベルの可塑性を用いた学習効率を評価すること。
• Dale型ネットワークが、標準的な人工ニューラルネットワークの計算的に強力で生物学的に妥当な代替手段として機能できるかどうかを検討すること。

提案手法

• Dale型および非Dale型の接続パターンを有する大規模な再帰的スパikingおよびレートベースのニューラルネットワークをシミュレーションした。
• 刺激とニューロン反応の間の相互情報量を用いて、符号化性能と機能的類似度を定量化した。
• ネットワークの学習に、シナプス学習（重みチューニング）とニューロン学習（しきい値やゲインなどのニューロン固有パrameterの調整）を適用した。
• スパiking活動分布における反応の重なりを測定することで、非Dale型ネットワークとDale型ネットワークの機能的類似度を評価した。
• ランダムなシナプスノイズを導入し、性能低下を測定することで耐性を評価した。
• ランダムおよび構造的なシナプス重み分布（対数正規分布を含む）を用いて接続パターンを探索した。

実験結果

リサーチクエスチョン

• RQ1 Dale型ニューラルネットワークは、任意の非Dale型ネットワークの計算的機能を、ほぼ完璧な精度で近似できるか？
• RQ2 シナプスノイズは、Dale型ネットワークと非Dale型ネットワークの両者に、それぞれどのように機能的耐性に影響を与えるか？
• RQ3 Dale型ネットワークにおいて、ニューロンレベルのパrameterチューニングによる学習は、シナプス重みチューニングに比べてどの程度達成可能か？
• RQ4 構造的制約（Daleの原則）があるにもかかわらず、Dale型ネットワークに機能的利点があるか？

主な発見

• Dale型ネットワークは、任意の非Dale型ネットワークの刺激-応答関数を、内在的な生物学的ノイズのレベルに匹敵する近似精度で再現できる。
• Dale型ネットワークは、非Dale型ネットワークと比較して、ランダムなシナプスノイズに対して著しく高い耐性を示し、機能的安定性が優れていることが示された。
• Dale型ネットワークにおけるニューロンレベルの学習は、シナプス学習と同等の性能を達成しており、より単純で生物学的に妥当な学習メカニズムである可能性を示唆している。
• ニューロンレベルの学習を用いた場合、平均的にDale型ネットワークは非Dale型ネットワークよりも刺激とニューロン応答の相互情報量が優れている。
• ランダムに抽出されたDale型ネットワークは、実際の神経ネットワークと同様に正の歪みを示すペアワイズ相関を示したが、非Dale型ネットワークはバランスの取れた相関分布を示した。
• これらの結果は、Daleの原則のような構造的制約が、生物学的および人工ニューラルネットワークにおける計算的および学習的特性を向上させる可能性があることを示唆している。