[論文レビュー] Lifelong Learning with Sketched Structural Regularization

Haoran Li, Aditya Krishnan+4 more|arXiv (Cornell University)|Apr 17, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 4

ひとこと要約

本稿では、継続的学習における構造的正則化の重要度行列の近似をより良くするために、線形スケッチを用いる計算効率の高い手法、Sketched Structural Regularization (Sketched SR) を提案する。対角近似によって見過ごされがちなパラメータ間の非対角相互作用を捉えることで、Catastrophic forgetting を顕著に低減し、計算コストの増加を最小限に抑えながら、Permuted-MNIST および CIFAR-100 ベンチマークで対角SRを上回る性能を達成する。

ABSTRACT

Preventing catastrophic forgetting while continually learning new tasks is an essential problem in lifelong learning. Structural regularization (SR) refers to a family of algorithms that mitigate catastrophic forgetting by penalizing the network for changing its "critical parameters" from previous tasks while learning a new one. The penalty is often induced via a quadratic regularizer defined by an \emph{importance matrix}, e.g., the (empirical) Fisher information matrix in the Elastic Weight Consolidation framework. In practice and due to computational constraints, most SR methods crudely approximate the importance matrix by its diagonal. In this paper, we propose \emph{Sketched Structural Regularization} (Sketched SR) as an alternative approach to compress the importance matrices used for regularizing in SR methods. Specifically, we apply \emph{linear sketching methods} to better approximate the importance matrices in SR algorithms. We show that sketched SR: (i) is computationally efficient and straightforward to implement, (ii) provides an approximation error that is justified in theory, and (iii) is method oblivious by construction and can be adapted to any method that belongs to the structural regularization class. We show that our proposed approach consistently improves various SR algorithms' performance on both synthetic experiments and benchmark continual learning tasks, including permuted-MNIST and CIFAR-100.

研究の動機と目的

• 構造的正則化で用いられる重要度行列の近似を改善することで、生涯学習におけるCatastrophic forgettingを解消すること。
• パラメータの独立性を仮定する対角近似の限界を克服し、重要なパラメータ相互作用を捉えること。
• アーキテクチャの変更なしに、既存の構造的正則化アルゴリズムを強化できる、手法に依存しない計算効率の高いフレームワークを開発すること。
• より良い重要度行列の近似が、標準ベンチマーク上で継続的学習性能の向上に寄与することを実証的に検証すること。

提案手法

• 本手法は、構造的正則化で用いられる全重要度行列（例：経験的フィッシャー情報行列）の圧縮および近似に、線形スケッチ技術を適用する。
• ランダム射影を用いて、重要な構造的性質を保ちながら、重要度行列の低次元スケッチを構築する。このプロセスには、保証された近似性能が伴う。
• 新しいタスクの学習中に、スケッチされた行列を用いて二次正則化項を定義し、過去のタスクで重要なパラメータの変更をペナルティ化する。
• 本アプローチは手法に依存せず、EWC や MAS などの任意の構造的正則化アルゴリズムに統合可能であり、コアな学習手順の変更を不要とする。
• スケッチサイズ $ t $ が、近似の正確さと計算コストのトレードオフを制御する。特に $ t $ の値が小さい（例：30〜50）場合でも、優れた性能を発揮する。
• 理論的分析により、スケッチ処理が全重要度行列に対する有界な近似誤差を維持することを示している。

実験結果

リサーチクエスチョン

• RQ1 線形スケッチは、構造的正則化における対角近似よりも、重要度行列の近似をより良く行えるか？
• RQ2 スケッチされた重要度行列を用いることで、Permuted-MNIST や CIFAR-100 などの標準ベンチマークで継続的学習性能が向上するか？
• RQ3 スケッチサイズ $ t $ は、近似品質と計算効率のトレードオフにどのように影響するか？
• RQ4 スケッチされた SR フレームワークは、幅広い構造的正則化手法と互換性を持つか？

主な発見

• Sketched SR は Permuted-MNIST において対角SRを顕著に上回り、EWC を用いる場合に平均89.8%の精度（対角SRでは88.3%）を達成し、MAS を用いる場合に90.4%（対角SRでは86.7%）を記録した。
• CIFAR-100 では、EWC を用いる場合に93.6%の平均精度（対角SRでは90.8%）を達成し、MAS を用いる場合に93.2%（対角SRでは89.9%）を記録した。
• わずか $ t = 50 $ の小さなスケッチサイズでも、Sketched SR は対角SRを一貫して上回り、実用的な効率性と有効性を示した。
• 合成タスクにおいて、全経験的フィッシャー行列と比較した場合、Sketched SR の近似誤差は平均で8.1%（対角近似では94.7%）にとどまった。
• 異なるアーキテクチャやデータセットに対してもロバストであり、CIFAR-100 におけるタスク1およびタスク2の両方の性能で一貫した向上を示した。
• 本手法は計算的に効率的かつスケーラブルであり、PCA などの低ランク近似と比較して高いコストを回避しながら、優れた近似品質を達成した。