[論文レビュー] Continual Learning Through Synaptic Intelligence

Friedemann Zenke, Ben Poole+1 more|arXiv (Cornell University)|Mar 13, 2017

Domain Adaptation and Few-Shot Learning参考文献 21被引用数 68

ひとこと要約

本論文は、訓練中にシナプスごとの重要性を蓄積し、重要な重みを保護するオンラインの二次的統合ペナルティを適用する知性を備えたシナプスを提案し、忘却を減らしつつ効率を維持した継続学習を可能にする。

ABSTRACT

While deep learning has led to remarkable advances across diverse applications, it struggles in domains where the data distribution changes over the course of learning. In stark contrast, biological neural networks continually adapt to changing domains, possibly by leveraging complex molecular machinery to solve many tasks simultaneously. In this study, we introduce intelligent synapses that bring some of this biological complexity into artificial neural networks. Each synapse accumulates task relevant information over time, and exploits this information to rapidly store new memories without forgetting old ones. We evaluate our approach on continual learning of classification tasks, and show that it dramatically reduces forgetting while maintaining computational efficiency.

研究の動機と目的

• 非定常データストリームから学習する場合のニューラルネットワークにおける壊滅的忘却を動機付け、対処する。
• 過去のタスクに対する各パラメータの重要性をオンラインで推定するシナプスレベルのメカニズムを提案する。
• 重要なシナプスを保護しつつ、重要でないものが新しいタスクに適応できるよう局所的・オンラインの統合ペナルティを開発する。
• オンラインのシナプティックインテリジェンスが複数のタスクにわたる学習を安定化し、競争力のある性能と拡張性を示す。

提案手法

• タスクμ中の各シナプスについて、勾配×パラメータ更新の走和としてωμkというシナプスごとの重要度を定義する。
• 過去のタスクの最小値と軌道を保持するように、重要なシナプスの変化をペナルティ付けする二次代替損失˜Lμを構築する。Ωμk = ∑ν<μωνk(∆νk)2 + ξ.
• 現在のタスクの損失Lμと統合項を、強さパラメータcを用いて˜Lμ = Lμ + c Σk Ωμk(˜θk − θk)^2と組み合わせる。
• 訓練中にオンラインでωkを更新し、各タスクの終了時にΩμkを蓄積し、以後ωkをリセットしてタスク間の継続学習を可能にする。
• Hessianベースの指標との関連を示し、特定のケースで統合された重要度がHessian構造と一致し、特に低ランクまたは対角的な状況で顕著であることを示す。

実験結果

リサーチクエスチョン

• RQ1 シナプスレベルのダイナミクスをどのように用いて継続学習における壊滅的忘却を防ぐことができるか？
• RQ2 オンラインのシナプスごとの重要性推定と局所的な統合ペナルティを組み合わせて、古いタスクの性能を維持しつつ新しいタスクを学ぶことができるか？
• RQ3 提案されたSynaptic Intelligenceフレームワークは、Elastic Weight Consolidation (EWC) などの既存手法と、効果とオンライン計算の観点でどう比較されるか？
• RQ4 オンライン重要度指標と損失地形の曲率（ヘッセ行列）との理論的関係は何か？
• RQ5 単純なMNIST分割を超えた、より大規模なデータセットやより複雑なアーキテクチャに対してこのアプローチは拡張可能か？

主な発見

• シナプスごとの重要性を用いた統合は、分割MNISTおよび置換MNISTでの忘却を著しく低減しつつ学習効率を維持する。
• split MNIST では、統合を用いたネットワークは、統合なしでは大きな忘却が生じるのに対して、タスク全体で高い平均精度を維持する。
• 置換MNIST では、統合が結合訓練に近い性能を達成し、EWCと比べても有利である。
• CIFAR-10/100の分割では、統合はより良い一般化を実現し、複数のタスクにわたり古い記憶を保護する。
• 相関分析は、統合が重要な重みのタスク間結合を低減し、特に深い層で干渉を緩和することを示す。
• オンラインのシナプスごとのアプローチは、オフラインのFisherベース指標に対する拡張的な代替手段を提供し、メモリ統合の低ランクHessianの直感と一致する。