[論文レビュー] Differentiable plasticity: training plastic neural networks with backpropagation

Thomas Miconi, Jeff Clune+1 more|arXiv (Cornell University)|Apr 6, 2018

Advanced Memory and Neural Computing被引用数 92

ひとこと要約

この論文は、訓練可能な可塑性（Hebbian トレース）を勾配降下法で学習させることで、パターンの記憶化、ワンショット Omniglot 分類、迷路強化学習タスクを横断して高速な生涯学習を実現し、非可塑性ベースラインよりも良い結果を示すことが多い。

ABSTRACT

How can we build agents that keep learning from experience, quickly and efficiently, after their initial training? Here we take inspiration from the main mechanism of learning in biological brains: synaptic plasticity, carefully tuned by evolution to produce efficient lifelong learning. We show that plasticity, just like connection weights, can be optimized by gradient descent in large (millions of parameters) recurrent networks with Hebbian plastic connections. First, recurrent plastic networks with more than two million parameters can be trained to memorize and reconstruct sets of novel, high-dimensional 1000+ pixels natural images not seen during training. Crucially, traditional non-plastic recurrent networks fail to solve this task. Furthermore, trained plastic networks can also solve generic meta-learning tasks such as the Omniglot task, with competitive results and little parameter overhead. Finally, in reinforcement learning settings, plastic networks outperform a non-plastic equivalent in a maze exploration task. We conclude that differentiable plasticity may provide a powerful novel approach to the learning-to-learn problem.

研究の動機と目的

• 生物学に触発されたシナプス可塑性を通じて生涯学習を動機づける。
• 各結合に固定成分と可塑成分を備えた微分可能な可塑性フレームワークを導入する。
• 様々なタスク（パターン記憶、Omniglot、強化学習）で可塑性パラメータの勾配ベース最適化を実証する。
• 学習された可塑性が複雑な記憶タスクで非可塑性と比べて性能を上回り、メタ学習のベンチマークでも競合できることを示す。

提案手法

• 各結合に固定重み w_ij と可塑成分 alpha_ij * Hebb_ij を持つネットワークを定義し、Hebb_ij が前後の活動を追跡する。
• Hebb_ij の再帰更新を用いる、例えば Hebb_ij(t+1) = eta * x_i(t-1) * x_j(t) + (1 - eta) * Hebb_ij(t)（減衰なしの代替 Oja の法則のバリアントも可）。
• 総合的な有効重みは w_ij + alpha_ij * Hebb_ij、固定経路と可塑経路の両方を可能にする。
• エピソードを通じて backpropagation によって w_ij および alpha_ij を最適化する；eta（可塑性学習率）は共有され、学習される。
• タスク横断でテストする：二値パターン記憶、自然画像記憶（CIFAR-10）、Omniglot ワンショット分類、迷路探索強化学習タスク。

実験結果

リサーチクエスチョン

• RQ1 可微分可塑性は大規模（数百万パラメータ）でバックプロパゲーションを用いて学習できるのか？
• RQ2 学習された可塑性は、固定重みのみに頼らず、急速な記憶形成とパターン再構成を可能にするのか？
• RQ3 Omniglot および強化学習タスクで、微分可能な可塑性は確立されたメタ学習手法と競合できるのか？
• RQ4 結合ごとの可塑性構造（独立した alpha_ij）と共有可塑性の性能差はどのようか？
• RQ5 可塑性を持つネットワークは、複雑な記憶タスクで非可塑的リカレントモデル（RNN/LSTM）を上回るのか？

主な発見

• 微分可能な可塑性を持つプラスティックなネットワークは、非可塑性RNNやLSTM が苦戦する高次元のパターン記憶を解くことができ、しばしばより速く達成する（例: 2,000 エピソード対 50万エピソード）。
• 自然画像記憶では、学習された可塑性は構造化された Hebb 行列を生み、固定可塑性ベースラインを上回り、独立した alpha が共有 alpha より性能を高める。
• Omniglot の 5-way 1-shot 分類は、可塑結合を用いて 98.3% の精度（95% CI ±0.80）を達成し、いくつかのメタ学習手法と競合し、パラメータのオーバーヘッドも控えめで済む。
• 迷路の強化学習タスクでは、微分可能な可塑性は非可塑性および均質的に可塑性なネットワークより性能を向上させ、結合ごとの可塑性カスタマイズの利点を示す。
• 本研究は、勾配降下法が可塑性ルール自体を最適化できることを実証し、従来の固定重みネットワークを超える効果的なメタ学習と記憶強化計算を可能にする。