[論文レビュー] Training Networks in Null Space of Feature Covariance for Continual Learning

Shipeng Wang, Xiaorong Li+2 more|arXiv (Cornell University)|Mar 12, 2021

Domain Adaptation and Few-Shot Learning参考文献 53被引用数 10

ひとこと要約

本論文では、深層ネットワークを安定的に学習するための新しい continual learning アルゴリズム Adam-NSCL を提案する。この手法は、Adam のパラメータ更新を、過去のタスクの特徴量共分散行列の近似零空間に射影することで、忘却を防ぎつつ安定した学習を実現する。uncentered 共分散行列を段階的に計算し、SVD を用いて層ごとに零空間を近似することで、CIFAR-100 および TinyImageNet ベンチマークで最先端の性能を達成する。

ABSTRACT

In the setting of continual learning, a network is trained on a sequence of tasks, and suffers from catastrophic forgetting. To balance plasticity and stability of network in continual learning, in this paper, we propose a novel network training algorithm called Adam-NSCL, which sequentially optimizes network parameters in the null space of previous tasks. We first propose two mathematical conditions respectively for achieving network stability and plasticity in continual learning. Based on them, the network training for sequential tasks can be simply achieved by projecting the candidate parameter update into the approximate null space of all previous tasks in the network training process, where the candidate parameter update can be generated by Adam. The approximate null space can be derived by applying singular value decomposition to the uncentered covariance matrix of all input features of previous tasks for each linear layer. For efficiency, the uncentered covariance matrix can be incrementally computed after learning each task. We also empirically verify the rationality of the approximate null space at each linear layer. We apply our approach to training networks for continual learning on benchmark datasets of CIFAR-100 and TinyImageNet, and the results suggest that the proposed approach outperforms or matches the state-ot-the-art continual learning approaches.

研究の動機と目的

• 継続的学習における柔軟性と安定性のジレンマ、すなわち、新しいタスクを学習する際に過去のタスクを忘れる問題を解決すること。
• 過去のタスクに対するネットワークの安定性を維持しつつ、新しいタスクの学習に柔軟性をもたせる手法を開発すること。
• 過去のタスクデータへのアクセスを必要とせず、災難的忘却を回避する効率的で段階的なアルゴリズムを設計すること。
• 深層ネットワークにおける安定性と柔軟性のバランスに、零空間射影の使用を理論的に正当化すること。
• 提案手法の有効性を、標準的な継続的学習ベンチマークにおいて実験的に検証すること。

提案手法

• 安定性のための理論的条件（パラメータ更新が過去の特徴量勾配に直交すること）と、柔軟性のための理論的条件（パラメータ更新が現在の勾配方向と一致すること）の2つを導入する。
• 各層において、すべての過去のタスクの入力特徴量の uncentered 共分散行列の近似零空間に、Adam からの候補パラメータ更新を射影する。
• 最小の特異値に対応する特異ベクトルのみを保持することで、uncentered 共分散行列の特異値分解（SVD）により近似零空間を計算する。
• 計算効率を確保し、過去のデータをすべて保存する必要を避けるために、各タスク後に uncentered 共分散行列を段階的に更新する。
• ネットワーク重みへの更新の前に、勾配更新を層ごとに射影することで、Adam オプティマイザにこの射影を統合する。
• 零空間の近似を制御するハイパーパrameter を導入し、実用的に安定性と柔軟性のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 過去のタスクの特徴量共分散行列の零空間にパラメータ更新を射影することで、継続的学習の性能が向上するか？
• RQ2 特徴量共分散を用いて、継続的学習における安定性と柔軟性を理論的にどのようにバランスさせられるか？
• RQ3 過去のデータを保存せずに、特徴量共分散の零空間を効率的かつ段階的に計算できるか？
• RQ4 提案手法は、最先端の継続的学習手法と比較して、精度およびバックワード転送の観点で優れているか？
• RQ5 uncentered 共分散行列の SVD から得られる近似零空間は、忘却防止のための合理的で効果的な部分空間であるか？

主な発見

• Adam-NSCL は、CIFAR-100 および TinyImageNet で最先端の手法を上回り、3つのベンチマークで OWM よりもそれぞれ 4.88%、7.48%、8.3% の高い精度を達成し、同等のバックワード転送性能を示した。
• 本手法は、過去のタスクデータへのアクセスを必要としないため、現実の継続的学習環境に適している。
• SVD を用いた uncentered 共分散行列からの近似零空間は、経験的に合理的かつ、過去のタスクの知識を保持するのに有効であることが示された。
• uncentered 共分散行列の段階的計算により、過去の特徴量やデータを保存せずに、効率的なオンライン適応が可能となった。
• 零空間近似の制御に用いるハイパーパrameter により、安定性と柔軟性の間で効果的なトレードオフが実現でき、OWM よりも調整が簡単であることが分かった。
• 数学的解析と実験的結果を通じて、安定性と柔軟性のための理論的条件が正当であることが検証され、アルゴリズム設計を導く上で妥当であることが示された。