[論文レビュー] Sparse Distributed Memory is a Continual Learner

Trenton Bricken, Xander Davies+3 more|arXiv (Cornell University)|Mar 20, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、スパース分散記憶（SDM）にインspiredされた修正型マルチレイヤーパーセプトロン（SDMLP）を提案し、メモリリプレイやタスク境界なしでCIFAR-10において最先端の継続的学習性能を達成する。トップ-K活性化、L²正規化、非負の重み、バイアスなしの学習を統合することで、モデルは災難的忘却を防ぐ有機的マンフォールドタイリングと民主的ニューロン参加を実現する専用のスパースサブネットワークを形成する。

ABSTRACT

Continual learning is a problem for artificial neural networks that their biological counterparts are adept at solving. Building on work using Sparse Distributed Memory (SDM) to connect a core neural circuit with the powerful Transformer model, we create a modified Multi-Layered Perceptron (MLP) that is a strong continual learner. We find that every component of our MLP variant translated from biology is necessary for continual learning. Our solution is also free from any memory replay or task information, and introduces novel methods to train sparse networks that may be broadly applicable.

研究の動機と目的

• メモリリプレイやタスク情報に依存せずに、生物学的ニューラルネットワークを模倣する継続的学習モデルの開発。
• スパース分散記憶（SDM）のコアな構成要素が、標準的なMLPアーキテクチャにおいて強固な継続的学習を可能にするかの調査。
• スパースで継続的学習を行うモデルに生じる構造的課題（例：死滅ニューロン、最適化器の停滞）を特定・解決すること。
• SDM由来のアーキテクチャ的制約の組み合わせが、発現的マンフォールドタイリングとサブネットワーク特化をもたらすかの検証。
• 生物学的にインスパイアされた、記憶効率の高い継続的学習フレームワークを確立し、厳密な制約下で既存手法を上回ること。

提案手法

• 入力ごとに最も活性化されたk個のニューロンのみを許容するTop-K（kウィナー・テイク・アール）活性化関数を採用し、サブネットワーク特化を促進する。
• 重みおよび入力データの両方にL²正規化と非負性を強制することで、ニューロンをデータマンフォールドに制約し、学習への民主的参加を可能にする。
• バイアス項を排除することで対称性を維持し、すべてのニューロンが表現学習に均等に寄与することを保証する。
• GABAスイッチにインspiredした初期化戦略を実装し、一時的に抑制効果を逆転させることで、初期学習段階でのニューロン死を防止する。
• スパースネットワークにおける最適化器の停滞を是正するため、更新が古くなったモーメンタムが非活性ニューロンに影響しないよう、学習ダイナミクスを変更する。
• タスクラベルやメモリリプレイを必要としない状況で、継続的学習性能をさらに向上させるためにSDMLPにエラスティックウェイトコンsolidation（EWC）を組み合わせる。

Figure 1: Graphical Summary of the SDM Write and Read Operations. Top Row - Three patterns being written into nearby neurons. 1. First write operation; 2. Patterns are stored inside neurons and the original pattern address is shown; 3. Writing a second pattern; 4. Writing a third pattern and neurons

実験結果

リサーチクエスチョン

• RQ1 スパース分散記憶（SDM）に基づく修正型MLPが、メモリリプレイやタスク境界なしで強力な継続的学習性能を達成できるか。
• RQ2 SDMアーキテクチャのどの要素が、継続的学習設定下で災難的忘却を防ぐために不可欠か。
• RQ3 トップ-K活性化とL²正規化が、どのようにしてSDMLPにおけるマンフォールドタイリングとサブネットワーク特化を共同で実現するか。
• RQ4 スパースで継続的学習を行うモデルに生じる構造的課題（例：死滅ニューロン、最適化器の停滞）は何か。それらを生物学的にインスパイアされた方法で解決できるか。
• RQ5 SDMLPの性能は、CIFAR-10におけるクラスインクリメンタル継続的学習設定で、既存手法をどの程度上回るか。

主な発見

• メモリリプレイが許可されないCIFAR-10のクラスインクリメンタル継続的学習設定において、SDMLPは既存手法を上回る最先端の性能を達成する。
• SDM由来のアーキテクチャ的要因（トップ-K活性化、L²正規化、非負の重み、バイアスなし）すべてが、災難的忘却を防ぐために不可欠であり、いずれかを除去すると性能が著しく低下する。
• モデルはデータマンフォールドをタイリングする専用サブネットワークを形成し、個々のニューロンが特定の画像クラス、あるいは特定の例に反応するよう学習する。これは「おばあちゃんニューロン」的行動に類似している。
• ニューロン活性化パターンから、SDMLPは各タスクごとにわずかで動的変化するニューロンのサブセットのみを活性化するが、これにより以前に学習した知識が保持される。一方、ReLUベースのモデルはほぼすべてのニューロンを活性化し、忘却リスクが高くなる。
• UMAP可視化により、ニューロンの重みとデータポイントがマンフォールド上で空間的に整合しており、ニューロンが特定のクラスやその最も活性化する例の周辺にクラスタリングしていることが確認された。
• GABAスイッチにインスパイアされた初期化戦略は、トップ-K活性化によって引き起こされるニューロン死を効果的に防止し、修正された最適化器トレーニング戦略によりスパースネットワークにおける停滞が解消された。両者とも、持続的な性能維持に不可欠である。