[論文レビュー] Unifying Regularisation Methods for Continual Learning

Frederik Benzing|arXiv (Cornell University)|Jun 11, 2020

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 4

ひとこと要約

本論文は、Elastic Weight Consolidation (EWC)、Synaptic Intelligence (SI)、Memory Aware Synapses (MAS) の3つの代表的な continual learning 正則化手法を、それらすべてがフィッシャー情報行列の平方根を近似しているという点で統一する。異なる動機を持つにもかかわらず、SIとMASは、SIに以前未知のバイアスが存在することにより、類似した性能を示す。著者らは、このバイアスを是正することで、大バッチ学習でSIを上回る性能を示す改善版手法 Second-Order Synapses (SOS) を提案する。

ABSTRACT

Continual Learning addresses the challenge of learning a number of different tasks sequentially. The goal of maintaining knowledge of earlier tasks without re-accessing them starkly conflicts with standard SGD training for artificial neural networks. An influential method to tackle this problem without storing old data are so-called regularisation approaches. They measure the importance of each parameter for solving a given task and subsequently protect important parameters from large changes. In the literature, three ways to measure parameter importance have been put forward and they have inspired a large body of follow-up work. Here, we present strong theoretical and empirical evidence that these three methods, Elastic Weight Consolidation (EWC), Synaptic Intelligence (SI) and Memory Aware Synapses (MAS), are surprisingly similar and are all linked to the same theoretical quantity. Concretely, we show that, despite stemming from very different motivations, both SI and MAS approximate the square root of the Fisher Information, with the Fisher being the theoretically justified basis of EWC. Moreover, we show that for SI the relation to the Fisher -- and in fact its performance -- is due to a previously unknown bias. On top of uncovering unknown similarities and unifying regularisation approaches, we also demonstrate that our insights enable practical performance improvements for large batch training.

研究の動機と目的

• 継続的学習における3大正則化手法である EWC、SI、MAS が、実務的および理論的にどの程度類似しているかを解明すること。
• これまでの厳密な根拠の欠如にもかかわらず、実験的に成功を収めた SI と MAS の有効性に、理論的基盤を提供すること。
• SI の重要性評価に潜む、以前未知のバイアスを同定し、それが SI の性能とフィッシャー情報への近似に与える影響を特定すること。
• SI の本質的メカニズムを是正した理解に基づき、新たな改善版正則化手法 Second-Order Synapses (SOS) を開発すること。

提案手法

• 理論的分析により、SI の重要性指標がバイアスを有しており、このバイアスが SI がフィッシャー情報行列の平方根を近似する原因であることを示した。
• 複数の継続的学習ベンチマーク（例：Permuted MNIST、Split CIFAR-10/100）を用いた実証的検証により、SI と MAS がともにフィッシャー情報行列の平方根をよく近似していることが確認された。
• SI の重要性推定におけるバイアスを是正することで、より正確なパラメータ重要性測定が可能となる新しいアルゴリズム Second-Order Synapses (SOS) を提案した。
• バイアスを除去するリスケーリングステップを導入することで、SI の重要性スコアを再重み付けし、大バッチ学習における安定性と性能を向上させた。
• ハイパーパramータ、初期化、学習期間を厳密に制御した条件下で、SI、SIU（非バイアス版）、SIB（バイアス版）、SOS を複数のデータセットと学習設定で比較した実験を実施した。
• 理論的および実証的分析により、EWC が対角フィッシャー情報行列を用いることは、SI や MAS が近似する同一の理論的量と整合的であることが確認された。

実験結果

リサーチクエスチョン

• RQ1 EWC、SI、MAS の3つの主要な正則化手法は、従来の予想よりも実務的に類似しているのだろうか？
• RQ2 異なる動機と定式化を持つにもかかわらず、SI と MAS の有効性の理論的根拠は何か？
• RQ3 SI の性能は、元々の動機（個々のパラメータが損失低下に寄与するという考え）に起因するのだろうか、それとも重要性推定における潜在的なバイアスに起因するのだろうか？
• RQ4 SI の修正版は、特に大バッチ学習において、継続的学習の性能を向上させることができるのだろうか？
• RQ5 EWC、SI、MAS の行動を説明する統一的理論的量は存在するのだろうか？

主な発見

• SI の性能は、元々の動機（個々のパラメータが損失低下に寄与するという考え）よりも、その重要性推定に潜む以前未知のバイアスに起因している。
• SI と MAS は両方とも、フィッシャー情報行列の平方根を近似しており、異なる導出法にもかかわらず、実験的に類似した性能を示す理由が説明された。
• 理論的統一により、EWC、SI、MAS がすべて同一の理論的量（フィッシャー情報）に関連していることが示され、それらの有効性に共通の理論的基盤が与えられた。
• SI のバイアスを是正した新規手法 Second-Order Synapses (SOS) は、Split CIFAR-10/100 などの標準ベンチマークで、大バッチ学習において SI を上回る性能を示した。
• 実証的結果から、学習期間、初期化（例：Glorot と PyTorch のデフォルト）、ハイパーパramータが性能に顕著な影響を与えることが判明しており、特に長期間の学習が正則化に基づく手法の性能を顕著に向上させる。
• Permuted MNIST では、20エポックでは90%の精度にとどまるが、200エポックの学習によりSIの性能を98%まで向上させることができた。これは、学習期間の重要性を強調する。