[論文レビュー] Learning to learn with backpropagation of Hebbian plasticity

Thomas Miconi|arXiv (Cornell University)|Sep 8, 2016

Robot Manipulation and Learning参考文献 6被引用数 6

ひとこと要約

この論文は、バックプロパゲーションを用いてベースライン重みと可塑性パラメータの両方を学習可能にする、バックプロパゲーション・オブ・ヘブニアン・プラスティシティ（BOHP）という手法を紹介している。ヘブニアントレースの解析的勾配を導出することにより、BOHPは、高速かつ継続的な学習を通じて、予測不可能な新しい刺激に迅速に適応できる。この手法により、ワンショット学習、パターン補完、逆転学習のタスクで優れた性能が達成された。

ABSTRACT

Hebbian plasticity is a powerful principle that allows biological brains to learn from their lifetime experience. By contrast, artificial neural networks trained with backpropagation generally have fixed connection weights that do not change once training is complete. While recent methods can endow neural networks with long-term memories, Hebbian plasticity is currently not amenable to gradient descent. Here we derive analytical expressions for activity gradients in neural networks with Hebbian plastic connections. Using these expressions, we can use backpropagation to train not just the baseline weights of the connections, but also their plasticity. As a result, the networks "learn how to learn" in order to solve the problem at hand: the trained networks automatically perform fast learning of unpredictable environmental features during their lifetime, expanding the range of solvable problems. We test the algorithm on various on-line learning tasks, including pattern completion, one-shot learning, and reversal learning. The algorithm successfully learns how to learn the relevant associations from one-shot instruction, and fine-tunes the temporal dynamics of plasticity to allow for continual learning in response to changing environmental parameters. We conclude that backpropagation of Hebbian plasticity offers a powerful model for lifelong learning.

研究の動機と目的

• ヘブニアン可塑性をバックプロパゲーションと統合することで、人工ニューラルネットワークが生涯学習を実現することを目的とする。
• ヘブニアン可塑性パラメータの解析的勾配を導出することにより、それらを標準的なバックプロパゲーションで学習可能にする。
• 推論中に、新しい予測不可能な環境的特徴にネットワークが自動的に適応できるようにし、問題解決能力を拡張することを目的とする。
• 可塑性パララメータの学習が、オンライン学習および継続的学習の状況下で、高速かつ適応的学習を可能にすることを示すこと。

提案手法

• ネットワークは、時間定数の減衰率 γ を用いて定義される、事前・事後シナプス活性の累積平均をヘブニアントレースとして用いる。
• 各時刻における結合強度は、固定されたベースライン重み（w_k）と、可塑性が調整する成分（α_k × Hebb_k）の組み合わせである。
• 出力活性に関する w_k および α_k に対する解析的勾配を導出しており、再帰的表現を用いて時間的依存性を考慮している。
• 勾配式は再帰的であり、過去の活性およびヘブニアントレースに依存しており、タイムスケールをまたがるバックプロパゲーションを可能にする。
• 標準的なバックプロパゲーションを用いて、ベースライン重みと可塑性パラメータの両方をエンドツーエンドで訓練可能である。
• 勾配式を適切に変更することにより、他のヘブニアンルール（例：インスターやアウトスターやBCM）に対しても一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 人工ニューラルネットワークにおけるヘブニアン可塑性を微分可能とし、バックプロパゲーションによる学習が可能になるか？
• RQ2 可塑性パララメータの学習が、新しい予測不可能な入力に対して高速なワンショット学習を可能にするか？
• RQ3 ネットワークが環境の変化に応じて、可塑性の時間的ダイナミクスを適応的に変化させ、継続的学習を支援できるか？
• RQ4 可塑性パラメータをバックプロパゲーションすることで、固定可塑性と比較してオンライン学習タスクのパフォーマンスが向上するか？

主な発見

• この論文は、ヘブニアン可塑性を有するネットワークにおいて、ベースライン重みと可塑性パラメータの両方について、解析的勾配を成功裏に導出しており、エンドツーエンドのバックプロパゲーションを可能にした。
• この手法により、ネットワークは「学び方を学ぶ」能力を獲得し、バックプロパゲーションで学習された可塑性を通じて、新しい刺激に迅速に適応できるようになった。
• ワンショット学習タスクでは、BOHPネットワークが新しいパターンを最小限の露出で高い精度で処理でき、高速適応が実証された。
• 逆転学習タスクでは、環境ルールの変更に伴い、ネットワークが自身の可塑性ダイナミクスを微調整し、適切に反応することが可能になった。
• アルゴリズムにより、経験に基づく継続的適応が可能となり、ニューラルネットワークが解ける問題の範囲が拡張された。
• このアプローチは汎用的であり、勾配式を適切に変更することで、他のヘブニアン学習ルールへも容易に拡張可能である。