[論文レビュー] Theory on Forgetting and Generalization of Continual Learning

Sen Lin, Peizhong Ju+2 more|arXiv (Cornell University)|Feb 12, 2023

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

本論文は、オーバーパラメータ化された線形モデルの下で連続学習における忘却と一般化誤差の明示的な閉形式表現を初めて提示し、オーバーパラメータ化、タスク類似性、タスク順序がこれらの指標に及ぼす影響を分析し、深層ネットワークでの検証を行う。

ABSTRACT

Continual learning (CL), which aims to learn a sequence of tasks, has attracted significant recent attention. However, most work has focused on the experimental performance of CL, and theoretical studies of CL are still limited. In particular, there is a lack of understanding on what factors are important and how they affect "catastrophic forgetting" and generalization performance. To fill this gap, our theoretical analysis, under overparameterized linear models, provides the first-known explicit form of the expected forgetting and generalization error. Further analysis of such a key result yields a number of theoretical explanations about how overparameterization, task similarity, and task ordering affect both forgetting and generalization error of CL. More interestingly, by conducting experiments on real datasets using deep neural networks (DNNs), we show that some of these insights even go beyond the linear models and can be carried over to practical setups. In particular, we use concrete examples to show that our results not only explain some interesting empirical observations in recent studies, but also motivate better practical algorithm designs of CL.

研究の動機と目的

• 線形回帰設定における連続学習における忘却と一般化誤差の明示的特性を提供する。
• システムパラメータ（タスク数/サンプル数/パラメータ数、ノイズ、タスク類似性/順序）が忘却と一般化に与える影響を示す。
• オーバーパラメータ化とタスク関係がCL性能に与える影響を説明し、実践的なアルゴリズム設計を導く。
• 線形モデルの洞察を深層ネットワークで検証することにより理論と実践的CL設計を橋渡しする。

提案手法

• i.i.d. ガウス特徴量とノイズを仮定した逐次線形回帰として連続学習をモデル化する。
• 忘却F_tとテスト損失を用いた全体一般化G_Tなど、トレーニングおよび評価指標を定義する。
• 定理4.1において過parameterized領域（p ≥ n+2）でのE[F_T]とE[G_T]の明示的表現を導く。
• 定理4.3を通じてパラメータ領域（過parameterizedと過parameterizedでない）を分析する。
• コロラリー（例：T=2）を用いてタスク類似性と忘却・一般化への影響を解釈する。
• DNNを用いたMNIST実験で洞察を検証し、タスク類似性とタスク順序を研究する。

実験結果

リサーチクエスチョン

• RQ1 オーバーパラメータ化、タスク類似性、およびタスク順序が連続学習における忘却と一般化に定量的にどのような影響を与えるのか？
• RQ2 線形で過parameterizedなCL設定において、忘却と一般化誤差の明示的な閉形式表現を導出できるか？
• RQ3 線形モデルの洞察は実用的な深層学習設定に一般化し、アルゴリズム設計の指針となるか？

主な発見

• 過parameterized線形CL設定における忘却と一般化誤差の明示的閉形式表現（定理4.1）。
• 忘却と一般化誤差はタスク類似性に対して異なる依存性を示し、あるノイズ・類似性条件下ではベナン過学習が生じうる。
• 一般化誤差はタスク類似性が高いほど低下する一方、忘却はタスク順序係数の影響を受けて類似性が単調でない場合がある。
• 最適なタスク順序は初期タスクをより異なるタスクを隣接させて多様化する傾向があり、特別な場合の結果として交互カテゴリ学習が忘却を最小化できることが示唆される。
• 低パラメータ設定では忘却と一般化が異なる表現に従う（定理4.3）、ベナン過学習の条件を示す。
• MNISTを用いたDNN実験は線形モデルの洞察を裏付け、タスク類似性およびタスク順序の同様の傾向を示す。