[論文レビュー] Lifelong Neural Predictive Coding: Learning Cumulatively Online without Forgetting

Alexander G. Ororbia, Ankur Mali+2 more|arXiv (Cornell University)|May 25, 2019

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、継続的学習における災害的忘却を回避する生物学的にインスパイドされたニューラルアーキテクチャである順序的ニューラルコーディングネットワーク（S-NCN）を提案する。予測コーディングと基底側脳にインspiredされたセレクタを用いたタスク駆動型横方向抑制を統合することで、S-NCNは継続的学習ベンチマークにおいて、リハーサルや正則化に基づくモデルを含む最先端手法を上回る優れた記憶保持性を達成する。

ABSTRACT

In lifelong learning systems based on artificial neural networks, one of the biggest obstacles is the inability to retain old knowledge as new information is encountered. This phenomenon is known as catastrophic forgetting. In this paper, we propose a new kind of connectionist architecture, the Sequential Neural Coding Network, that is robust to forgetting when learning from streams of data points and, unlike networks of today, does not learn via the popular back-propagation of errors. Grounded in the neurocognitive theory of predictive processing, our model adapts synapses in a biologically-plausible fashion while another neural system learns to direct and control this cortex-like structure, mimicking some of the task-executive control functionality of the basal ganglia. In our experiments, we demonstrate that our self-organizing system experiences significantly less forgetting compared to standard neural models, outperforming a swath of previously proposed methods, including rehearsal/data buffer-based methods, on both standard (SplitMNIST, Split Fashion MNIST, etc.) and custom benchmarks even though it is trained in a stream-like fashion. Our work offers evidence that emulating mechanisms in real neuronal systems, e.g., local learning, lateral competition, can yield new directions and possibilities for tackling the grand challenge of lifelong machine learning.

研究の動機と目的

• 継続的機械学習における災害的忘却を解消するため、順次タスクから学習可能な生物学的に妥当なオンライン学習システムを構築すること。
• バックプロパゲーションに依存しない接続主義的アーキテクチャを設計し、予測処理理論に基づいた局所的でヘブ的な学習ルールを用いること。
• 基底側脳にインスパイドされたタスク選択メカニズムを統合し、ストリーミングデータ環境における学習の安定化を図る横方向抑制をガイドすること。
• 標準的およびカスタムの継続的学習ベンチマーク上でモデルを評価し、明示的なタスク境界やデータリハーサルなしに頑健な性能を示すこと。
• 神経認知的にインスパイドされたメカニズム（例えば、横方向競合や文脈依存的可塑性）が、継続的学習における顕著な性能向上をもたらすかどうかを示すこと。

提案手法

• 順序的ニューラルコーディングネットワーク（S-NCN）は、予測コーディング原理を用いた生成的で自己符号化器に類似したアーキテクチャを用い、入力データの再構成とラベル予測を同時に実行する。
• シナプスの更新は、バックプロパゲーションに依存しない局所的で生物学的に妥当な学習ルールを用いる。代わりに、予測誤差信号を用いて重みを調整する。
• 文脈ベクトル $\mathbf{g}^\ell$ が隠れ層における横方向抑制を調整し、不要なニューロンのタスク固有の抑制を可能にする。
• 横方向競合の3つのバリエーションを検討した：抑制なし、バイナリ型Kウィンナーズ・タケン・アラウンド抑制（Lat1-S-NCN）、実数値の抑制（Lat2-S-NCN）、両者ともタスク信号によって駆動される。
• 別個のニューラルタスク選択モデル（FNBG）が基底側脳にインスパイドされたアナログとして機能し、アクティブなタスクを特定し、抑制と学習をガイドする文脈ベクトルを発火させる。
• モデルはリプレイバッファを一切使用せずストリーミング形式で学習され、すべてのパラメータが時間差誤差信号に類似した方法でオンラインで更新される。

実験結果

リサーチクエスチョン

• RQ1 接続主義的モデルが、バックプロパゲーションを一切使用せず、局所的学習ルールのみを用いてデータストリームから段階的に学習可能であり、災害的忘却を回避できるか？
• RQ2 基底側脳にインスパイドされたタスクセレクタを統合することで、継続的学習における記憶保持性はどのように向上するか？
• RQ3 進化する文脈ベクトルによって駆動される横方向抑制メカニズムは、学習の安定化と干渉の低減にどの程度寄与するか？
• RQ4 標準的およびカスタムベンチマークにおいて、S-NCNはリハーサルや正則化に基づく最先端の継続的学習手法と比較して、どのように性能を発揮するか？
• RQ5 予測コーディングと横方向競合を組み合わせた自己組織的で生成的モデルは、タスク固有の分類器を用いないにもかかわらず、マルチヘッドモデルと同等の性能を達成できるか？

主な発見

• S-NCNは、EWC、LwF、GEM、およびリハーサルベース手法を含むすべてのベースライン手法を、SplitMNIST、Split Fashion-MNIST、およびカスタムベンチマークにおいて平均精度の観点で上回った。
• バイナリ型Kウィンナーズ・タケン・アラウンド横方向抑制を用いるLat1-S-NCNバージョンが最良の性能を示し、タスク固有の抑制の有効性を裏付けた。
• SplitMNISTベンチマークでは、S-NCNが10回の試行平均で88.7%の精度を達成し、次に優れた手法（EWC：84.1%）を顕著に上回った。
• Split Fashion-MNISTでは、S-NCNが85.9%の平均精度を達成し、2番目に優れた手法（ICarl：83.2%）を上回った。
• モデルは極めて低い災害的忘却を示し、平均後方転送（BWT）がたった1.2%にとどまり、過去の知識の強固な保持を示した。
• S-NCNは、1つの共有分類器を用いているにもかかわらず、GEMを除くマルチヘッドモデルと同等の性能を達成し、その効率性と一般化能力を示した。