[論文レビュー] Overcoming Catastrophic Interference by Conceptors

Xu He, Herbert Jaeger|arXiv (Cornell University)|Jul 16, 2017

Neural Networks and Reservoir Computing参考文献 7被引用数 10

ひとこと要約

本稿では、深層順方向ネットワークにおける継続的学習の過程で、以前に学習したタスクの表現を保護するためのコンセプタ（conceptor）を用いることで、深刻な干渉（catastrophic interference）を軽減する手法、Conceptor-Aided Back-Propagation（CAB）を提案する。CABは、入力を直交する部分空間に投影することで、過去のタスクの記憶を保持しつつ、残差誤差補正によって新しいタスクの学習を可能にする。この手法は、分離型と入れ替え型MNISTタスクの両方において、既存手法を上回る性能を発揮する。

ABSTRACT

Catastrophic interference has been a major roadblock in the research of continual learning. Here we propose a variant of the back-propagation algorithm, "conceptor-aided back-prop" (CAB), in which gradients are shielded by conceptors against degradation of previously learned tasks. Conceptors have their origin in reservoir computing, where they have been previously shown to overcome catastrophic forgetting. CAB extends these results to deep feedforward networks. On the disjoint MNIST task CAB outperforms two other methods for coping with catastrophic interference that have recently been proposed in the deep learning field.

研究の動機と目的

• 継続的学習における深刻な干渉を解消すること、すなわち、ニューラルネットワークが新しいタスクに学習する際に、以前に学習したタスクを忘れる現象を防ぐこと。
• 従来、リザボアコンピューティングで用いられていたコンセプタベースの正則化手法を、深層順方向ネットワークへと拡張し、新しいバックプロパゲーションアルゴリズムを提案すること。
• 以前のタスクの入力パターンの直交部分空間に重み更新を制約することで、忘却を防ぎつつインクリメンタル学習を可能にすること。
• タスクの類似度（コンセプタの重なりを介して）が継続的学習の性能に与える影響を定量化および分析すること。

提案手法

• CABは、各タスクの入力パターンの線形部分空間をコンセプタで定義し、入力相関行列に対するリッジ回帰によって計算する。
• 新しいタスクごとに、CABは入力ベクトルを以前に学習したタスクの部分空間と直交する部分空間に投影するためのコンセプタ $ C^j $ を計算する。ここで $ F^j = \neg A^{j-1} $ であり、$ A^{j-1} $ は以前のコンセプタの集合の和集合である。
• ネットワークの新しいタスク入力に対する誤差は、$ F^j $ によって投影された成分でのみ補正され、元の部分空間における学習済み表現は保持される。
• ネットワーク重みの更新には、$ W^j_{\text{inc}} = (S S^\top)^{-1} S T^\top $ によるインクリメンタルリッジ回帰を採用する。ここで $ S = F^j X^j $ かつ $ T = Y^j - W^{j-1} X^j $ である。
• コンセプタは $ C = R(R + \alpha^{-2}I)^{-1} $ として計算され、$ R $ は入力相関行列を表す。この式によりソフトプロジェクションとメモリ管理が可能になる。
• タスクの部分空間の重なりを定量化するための類似度測定 $ \rho(C^i, C^j) $ を用い、分離型と入れ替え型MNISTタスクにおける性能差の説明に用いる。

実験結果

リサーチクエスチョン

• RQ1 深層順方向ネットワークにおける継続的学習の過程で、深刻な干渉をどのように効果的に軽減できるか？
• RQ2 異なるタスクの入力部分空間の重なり度が、継続的学習アルゴリズムの性能にどの程度影響を及えるか？
• RQ3 リザボアコンピューティングで開発されたコンセプタベースの正則化手法を、標準的なバックプロパゲーションを用いた深層ネットワークへと成功裏に拡張できるか？
• RQ4 CABは、他の最先端の継続的学習手法と比較して、忘却と精度の観点でどの程度優れているか？

主な発見

• CABは、分離型MNISTタスクにおいて、最近の2つの深層学習手法を上回り、優れた継続的学習性能を示した。
• 入れ替え型MNISTタスクは、分離型MNISTタスクよりもCABにとって容易である。これは、コンセプタの重なり度が低いからである：$ \rho(C_{\text{original}}, C_{\text{permuted}}) \approx 0.3 $ である一方で、$ \rho(C_{0\text{to}4}, C_{5\text{to}9}) \approx 0.95 $ である。
• 分離型MNISTタスクの画像が $ F_{5\text{to}9} $（自由メモリ空間）によって投影された場合、入れ替え型MNISTタスクのそれよりも著しく読みにくくなる。これは、分離型MNISTタスクにおける性能の低さを説明する。
• コンセプタの割合 $ Q(C) $ を用いることで、利用可能なメモリ空間の監視が可能になる。これは、タスクが入力空間のどの程度を占拠しているかを測定する指標である。
• CABの残差誤差補正機構は、過去のタスクの部分空間と直交する成分でのみ有効であるため、タスクが高次元の入力部分空間を共有する場合には性能が制限される。