[論文レビュー] NISPA: Neuro-Inspired Stability-Plasticity Adaptation for Continual Learning in Sparse Networks

Mustafa Burak Gürbüz, Constantine Dovrolis|arXiv (Cornell University)|Jun 18, 2022

Domain Adaptation and Few-Shot Learning被引用数 15

ひとこと要約

NISPAは、固定密度のスパースニューラルネットワークを用いた神経科学にインspiredされた継続的学習フレームワークを提案する。安定性は恒久的なシナプス経路によって維持され、動的接続再接続によって柔軟性が実現される。EMNIST、FashionMNIST、CIFAR10、CIFAR100の各データセットで最先端の性能を達成しており、ベースラインと比較して学習可能なパラメータが最大10倍も少ない。再訓練やモデル拡張を必要とせず、深刻な忘れなしが著しく軽減される。

ABSTRACT

The goal of continual learning (CL) is to learn different tasks over time. The main desiderata associated with CL are to maintain performance on older tasks, leverage the latter to improve learning of future tasks, and to introduce minimal overhead in the training process (for instance, to not require a growing model or retraining). We propose the Neuro-Inspired Stability-Plasticity Adaptation (NISPA) architecture that addresses these desiderata through a sparse neural network with fixed density. NISPA forms stable paths to preserve learned knowledge from older tasks. Also, NISPA uses connection rewiring to create new plastic paths that reuse existing knowledge on novel tasks. Our extensive evaluation on EMNIST, FashionMNIST, CIFAR10, and CIFAR100 datasets shows that NISPA significantly outperforms representative state-of-the-art continual learning baselines, and it uses up to ten times fewer learnable parameters compared to baselines. We also make the case that sparsity is an essential ingredient for continual learning. The NISPA code is available at https://github.com/BurakGurbuz97/NISPA.

研究の動機と目的

• 生物学的脳のメカニズム（例：スパース接続やシナプス再接続）を模倣することで、継続的学習における深刻な忘れなしを解消すること。
• モデルサイズの増加や再訓練を伴わずに、以前に学習したタスクの高い性能を維持しながら、新しいタスクを効率的に学習すること。
• スパース性が深層ネットワークにおける効果的な継続的学習の鍵であることを示すこと。
• 生データの再訓練や継続的なモデル拡張といった生物学的に現実的でないメカニズムを避ける継続的学習フレームワークの開発。

提案手法

• NISPAは、訓練中に接続密度を固定したスパースニューラルネットワークを用い、時間経過に伴って構造的スパース性を維持する。
• 特定の隠れユニットへの入力重みを凍結することで、初期タスクからの知識の長期的保持を保証する安定経路を形成する。
• 接続の再接続によって柔軟な経路を生成し、既存の安定経路を損なわずに新しい知識を統合可能にする。
• 柔軟性が必要な際、タスク固有の分類ヘッドに従って、ランダムな成長メカニズムで動的に新しい接続を追加する。
• クラスインクリメンタル学習では、NISPA-Replayが小さなバッファに生データの例を保持するが、最終層のみを更新することでパラメータ更新を最小限に抑える。
• 完全なモデル再訓練を避けており、生成的再訓練や複雑なサンプリング戦略にも依存せず、効率性が向上する。

実験結果

リサーチクエスチョン

• RQ1 固定密度のスパースネットワークが、脳にインspiredされた安定性と柔軟性のメカニズムを組み合わせることで、優れた継続的学習性能を達成できるか？
• RQ2 モデル容量の増加なしに、スパース性が継続的学習における深刻な忘れなしの軽減にどのように寄与するか？
• RQ3 接続の再接続と安定経路形成は、従来の再訓練やパrameter正則化手法に比べてどれほど優れているか？
• RQ4 動的接続性を有するが、サイズとスパース性が固定された神経科学的インスパイアドアーキテクチャは、密な、成長する、またはプルーニングされたモデルを上回る性能を示せるか？
• RQ5 クラスインクリメンタル学習において、NISPAの性能は異なるデータセットやバッファサイズの下で最先端のベースラインと比べてどの程度優れているか？

主な発見

• NISPAは、EMNIST、FashionMNIST、CIFAR10、CIFAR100の全評価設定で、最先端の継続的学習ベースラインを顕著に上回る性能を達成した。
• 平均してNISPAはベースラインよりも高い正確性を達成しており、特にCIFAR10とCIFAR100で顕著な性能向上が見られた。
• NISPAは、同等のベースラインと比較して、学習可能なパラメータが最大10倍も少ないことを示し、高いパラメータ効率性を示した。
• NISPA-Replayは、大多数のデータセットとバッファサイズでER、DER、iCaRL、A-GEMを上回ったが、EF-MNISTではDER、CIFAR10で極小バッファではiCaRLが優れた性能を示した。
• 非インクリメンタルな上限とNISPA-Replayの間の性能差は依然として大きく、生データ再訓練なしのクラスインクリメンタル学習におけるさらなる改善の余地があることを示唆している。
• DERがEF-MNISTで優れた性能を発揮したのは、ログティットを追加の信号として用いているためであり、NISPAはこれを活用していない。これは、極小バッファ環境下での補助信号の利点を示している。