[論文レビュー] Short-Term Plasticity Neurons Learning to Learn and Forget

Hector Garcia Rodriguez|arXiv (Cornell University)|Jun 28, 2022

Advanced Memory and Neural Computing被引用数 6

ひとこと要約

本論文は、バックプロパゲーション・スル・タイムを用いてシナプス可塑性パラメータを学習可能にする、短時間可塑性ニューロン（STPN）を導入する。これにより、ネットワークは動的に「学び直し」と「忘却」を学習できる。STPNは、エネルギー消費を動的シナプス抑制によって最小限に抑える一方で、教師ありおよび強化学習タスクにおいてRNN、LSTM、その他の可塑性モデルを上回る性能を発揮する。

ABSTRACT

Short-term plasticity (STP) is a mechanism that stores decaying memories in synapses of the cerebral cortex. In computing practice, STP has been used, but mostly in the niche of spiking neurons, even though theory predicts that it is the optimal solution to certain dynamic tasks. Here we present a new type of recurrent neural unit, the STP Neuron (STPN), which indeed turns out strikingly powerful. Its key mechanism is that synapses have a state, propagated through time by a self-recurrent connection-within-the-synapse. This formulation enables training the plasticity with backpropagation through time, resulting in a form of learning to learn and forget in the short term. The STPN outperforms all tested alternatives, i.e. RNNs, LSTMs, other models with fast weights, and differentiable plasticity. We confirm this in both supervised and reinforcement learning (RL), and in tasks such as Associative Retrieval, Maze Exploration, Atari video games, and MuJoCo robotics. Moreover, we calculate that, in neuromorphic or biological circuits, the STPN minimizes energy consumption across models, as it depresses individual synapses dynamically. Based on these, biological STP may have been a strong evolutionary attractor that maximizes both efficiency and computational power. The STPN now brings these neuromorphic advantages also to a broad spectrum of machine learning practice. Code is available at https://github.com/NeuromorphicComputing/stpn

研究の動機と目的

• 短時間可塑性（STP）を深層学習モデルに組み込むことで、生物学的神経計算と人工ニューラルネットワークの間のギャップを埋めること。
• 生物学的に妥当なメカニズムを活用することで、人工ニューラルネットワークの主な限界、すなわち高いサンプル必要量、低いタスク適合性、高いエネルギー消費を是正すること。
• バックプロパゲーション・スル・タイムを用いてシナプス可塑性パラメータを学習可能にし、ネットワークが最適な短時間記憶ダイナミクスをメタ学習できるようにすること。
• STPが、特に動的かつ順序的なタスクにおいて、モデルの習得能力とエネルギー効率を同時に向上させられることを実証すること。

提案手法

• STPNは、各シナプス内に自己再帰的接続を導入し、時間とともに減衰する動的シナプス状態を維持することで、短時間可塑性をモデル化する。
• 各シナプスには、長期間重み $w_{ij}$ と、短時間記憶の減衰と促進を制御する2つのSTPパラメータ $\lambda$ と $\gamma$ の3つの学習可能なパラメータが存在する。
• 再帰的メカニズムを用いてシナプス状態を時間的に伝搬させ、可塑性パラメータを最適化するための勾配の時間的流れを可能にする。
• バックプロパゲーション・スル・タイムを用いて、長期間重みと短時間可塑性ダイナミクスを同時に学習させ、記憶の減衰と促進のエンドツーエンド学習を可能にする。
• アーキテクチャは、順方向および再帰的ネットワークに適用可能であり、すべてのシナプスに可塑性を適用可能で、教師ありおよび強化学習をサポートする。
• エネルギー効率は、非活性なシナプスが抑制されることで測定され、計算コストの低減が達成される。

実験結果

リサーチクエスチョン

• RQ1 短時間可塑性をバックプロパゲーション・スル・タイムで学習可能にすることで、動的記憶パターンのメタ学習が可能になるか？
• RQ2 標準的なRNNやLSTMと比較して、再帰的シナプス状態メカニズムは、順序的かつ動的タスクにおける性能と安定性を向上させるか？
• RQ3 学習可能な短時間可塑性は、深層学習モデルにおいて、モデル習得能力とエネルギー効率の両方を同時に向上させられるか？
• RQ4 STPNが「忘却」を学習できることで、タスク間の訓練安定性と一般化性能がどの程度向上するか？
• RQ5 収束速度、最終的性能、ハイパーパramータ選択に対するロバストネスの観点から、STPNは他のファストウェイトおよび微分可能可塑性モデルと比較してどう異なるか？

主な発見

• STPNは、連想的リトリーブ、迷路探索、アーケードゲーム、MuJoCoロボティクスを含む、複数のタスクでRNN、LSTM、ファストウェイトモデル、微分可能可塑性ベースラインを上回る性能を発揮した。
• インバーテッド・ペンデュラムタスクでは、従来のMLPと比較してSTPNが訓練の安定性に優れ、先行研究で報告された中間段階の不安定性を回避した。
• STPNは、ハイパーパramータに敏感でなく、PongではLSTMが高学習率で学習不能だったのに対し、高い学習率を耐えられるという特徴を示した。
• 早期に収束し、高い習得能力を示しており、最適な記憶ダイナミクスのメタ学習が効果的に行われていることが示された。
• 訓練時間の経過とともに、重要でないシナプスが動的に抑制されることでエネルギー消費が減少し、モデルが計算コストを低減する形で「忘却」を学習していることが確認された。
• 特にアーケードゲームおよびMuJoCoタスクでは、報酬増加に比してエネルギー消費の増加が最小限に抑えられ、効率性と性能の間の強い整合性が示された。