[論文レビュー] Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint

Dong Yin, Mehrdad Farajtabar+3 more|arXiv (Cornell University)|Jun 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 14

ひとこと要約

本稿は、2次テイラー展開を用いてタスクの損失関数をモデル化することで、正則化に基づく継続的学習のための統一的損失近似フレームワークを提案する。最適化収束性と一般化性能に関する理論的保証を確立し、正確なヘッセ行列近似が極めて重要であることを示した。実験的にも、Kronecker因子付きラプラシアン近似がPermuted MNIST、Rotated MNIST、Split CIFARベンチマークでEWCおよびSIを上回ることを確認した。

ABSTRACT

Neural networks have achieved remarkable success in many cognitive tasks. However, when they are trained sequentially on multiple tasks without access to old data, their performance on early tasks tend to drop significantly. This problem is often referred to as catastrophic forgetting, a key challenge in continual learning of neural networks. The regularization-based approach is one of the primary classes of methods to alleviate catastrophic forgetting. In this paper, we provide a novel viewpoint of regularization-based continual learning by formulating it as a second-order Taylor approximation of the loss function of each task. This viewpoint leads to a unified framework that can be instantiated to derive many existing algorithms such as Elastic Weight Consolidation and Kronecker factored Laplace approximation. Based on this viewpoint, we study the optimization aspects (i.e., convergence) as well as generalization properties (i.e., finite-sample guarantees) of regularization-based continual learning. Our theoretical results indicate the importance of accurate approximation of the Hessian matrix. The experimental results on several benchmarks provide empirical validation of our theoretical findings.

研究の動機と目的

• 順次に学習される際、モデルが過去のタスクを忘れてしまうという災難的忘却（catastrophic forgetting）を解消すること。
• 正則化に基づく継続的学習手法の理論的裏付けを提供すること。
• Elastic Weight Consolidation (EWC) やKronecker因子付きラプラシアン近似といった既存のアルゴリズムを、共通の損失近似の視点から統一すること。
• この統一的フレームワーク下での最適化収束性および一般化特性を分析すること。
• 標準的な継続的学習ベンチマークを用いて理論的発見を実証的に検証すること。

提案手法

• 正則化に基づく継続的学習を、各タスクの損失関数の2次テイラー展開として定式化する。
• 近似されたヘッセ行列を用いて、過去のタスクにおける重要な重みからの逸脱をペナルティ化する2次形式の正則化項を構築する。
• 現在のタスクの損失と近似された過去のタスク損失を組み合わせた統一的最適化目的関数を導出する。
• 近似損失関数上で勾配降下法が真の損失最小値に収束するための理論的条件を確立する。
• 損失近似フレームワーク下での有限標本一般化保証を提供する。
• Permuted MNIST、Rotated MNIST、およびSplit CIFAR-100ベンチマークでこのフレームワークを実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 損失関数近似に基づく単一の理論的枠組みで、正則化に基づく継続的学習をどのように統一できるか？
• RQ2 近似損失関数上で最適化を行う場合、真の損失最小値への収束を保証する条件は何か？
• RQ3 ヘッセ行列近似の正確さが、継続的学習における最適化と一般化に与える影響は何か？
• RQ4 タスク間でのパラメータ空間の移動と高階微分が、アルゴリズム性能に果たす役割は何か？
• RQ5 ヘッセ行列の正確さに関する理論的予測が、標準ベンチマークでの実験結果とどの程度一致するか？

主な発見

• Kronecker因子付きラプラシアン近似は、すべてのベンチマークでEWCおよびSIを上回り、32エポック後にはPermuted MNISTで96.0%の精度を達成した。
• Rotated MNISTでは、Kroneckerが32エポック後で81.9%の精度を達成し、EWC（62.4%）およびSI（58.3%）を大きく上回った。
• Split CIFARでは、Kroneckerが32エポック後で59.9%の精度を達成し、EWC（44.0%）およびSI（45.3%）を上回った。
• 実験結果は、ヘッセ行列近似が不正確な場合、タスクごとの訓練を長くすると性能が劣化することを確認し、理論的予測と一致した。
• ヘッセ行列近似の正確さが、アルゴリズムの成功の鍵であることが判明し、不正確な近似は最適化と一般化の性能を劣化させる。
• Kroneckerの計算コストはEWCの5〜10倍にのぼり、実用的にはヘッセ行列の正確さと効率性のトレードオフが生じることを示した。