[論文レビュー] Cortical credit assignment by Hebbian, neuromodulatory and inhibitory plasticity

Johnatan Aljadeff, James A. D’amour+3 more|arXiv (Cornell University)|Nov 1, 2019

EEG and Brain-Computer Interfaces参考文献 81被引用数 11

ひとこと要約

この論文は、ヘブ型、アセチルコリン依存型、ノルアドレナリン依存型、および抑制性シナプス可塑性を組み合わせることで、完全な誤差信号が利用できない状況下でも、報酬割り当て問題を解決する生物学的に妥当な学習メカニズムを提案する。神経調節シグナルを介して間接的にシナプス変化を誘導し、抑制性可塑性によって興奮性・抑制性（E/I）バランスを維持することで、誤差信号が不完全であっても、理論的容量のおよそ70％に達する頑健な学習が可能となる。

ABSTRACT

The cortex learns to make associations between stimuli and spiking activity which supports behaviour. It does this by adjusting synaptic weights. The complexity of these transformations implies that synapses have to change without access to the full error information, a problem typically referred to as "credit-assignment". However, it remains unknown how the cortex solves this problem. We propose that a combination of plasticity rules, 1) Hebbian, 2) acetylcholine-dependent and 3) noradrenaline-dependent excitatory plasticity, together with 4) inhibitory plasticity restoring E/I balance, effectively solves the credit assignment problem. We derive conditions under-which a neuron model can learn a number of associations approaching its theoretical capacity. We confirm our predictions regarding acetylcholine-dependent and inhibitory plasticity by reanalysing experimental data. Our work suggests that detailed cortical E/I balance reduces the dimensionality of the problem of associating inputs with outputs, thereby allowing imperfect "supervision" by neuromodulatory systems to guide learning effectively.

研究の動機と目的

• 完全な誤差信号が利用できない状況下で、新皮質がどのようにシナプスに報酬を割り当てるかを解明すること。
• アセチルコリンとノルアドレナリンが、明示的な誤差フィードバックが欠如する状況下で、どのように間接的にシナプス可塑性を誘導するかを調査すること。
• 学習中にE/Iバランスを維持するうえで、抑制性可塑性が果たす役割を検討すること。
• 局所的で生物学的に妥当な可塑性ルールを用いて、多数の関連性を学習できる条件を導出すること。
• 再分析による実験データを用いて、ACh依存型および抑制性可塑性に関する予測を検証すること。

提案手法

• ヘブ型、ACh依存型、およびNE依存型可塑性ルールを統合した生物学的制約のあるニューロンモデルを構築。
• 完全なネットワークモデルから導出された、E/I空間における学習ダイナミクスの簡略化された数学的モデルを導入。
• スパイク閾値に近接する領域に基づいてE/I空間を分割するため、平均シナプス感受度変化を計算するためのしきい値超過近似を適用。
• LTPおよびLTDが前発火および後発火活動に加え、AChおよびNEの存在に依存する神経調節物質ゲート付き可塑性ルールを導入。
• E/Iバランスを維持するために抑制性重みを調整する抑制性可塑性を組み込み、報酬割り当て問題の次元数を低減。
• 頑健な学習のための条件を理論的に導出し、可塑性パラメータの制約およびE/Iバランス線のオフセットに関する制約を含む。

実験結果

リサーチクエスチョン

• RQ1 ヘブ型、神経調節物質ゲート付き、および抑制性可塑性ルールの組み合わせが、明示的な誤差信号が存在しない皮質ニューロンにおいて、効果的な報酬割り当てを可能にするか。
• RQ2 E/Iバランスの次元数低減が、不完全な神経調節的監視下での学習効果をどのように向上させるか。
• RQ3 局所的可塑性ルールを用いて、理論的容量に近い数の関連性を学習できる条件は何か。
• RQ4 アセチルコリンとノルアドレナリンは、完全な誤差フィードバックが欠如する状況下で、シナプス感受度のダイナミクスにどのように影響を与えるか。
• RQ5 ACh依存型および抑制性可塑性に関する実験データが、モデルの予測をどの程度支持するか。

主な発見

• 誤差信号が不完全であっても、神経調節的監視が間接的である状況下でも、理論的最大数の関連性のおよそ70％に達する頑健な学習が実現される。
• E/Iバランス線が原点からオフセットされている場合、特にACh依存型LTDバイアスパラメータβ_Aが1を超えると、二峰性のシナプス感受度分布が出現し、ACh可塑性に抑制偏向が生じることが示唆される。
• 抑制性可塑性は、E/Iバランスの維持と学習の安定化に不可欠であり、特にスパイク閾値から遠く離れた位置にE/Iバランス線が交差する場合に顕著である。
• ヘブ型学習速度は慎重に制御される必要がある。高い値はノイズを導入し、神経調節的誘導と干渉するため、性能を低下させる。
• モデルは、非ペアド入力に対してACh依存型可塑性が長期的抑制（LTD）偏向を示すと予測しており、実験的観察と整合的である。
• 実験データの再分析により、ACh依存型および抑制性可塑性に関するモデルの予測が支持され、提案されたメカニズムの妥当性が検証された。