[論文レビュー] A Theoretical Analysis of Catastrophic Forgetting through the NTK Overlap Matrix

Thang Doan, Mehdi Bennani+3 more|arXiv (Cornell University)|Oct 7, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 16

ひとこと要約

本稿では、連続学習における災害的忘却を定量化する理論的指標として、NTKオーバーラップ行列を導入する。正規直交射影手法（例：OGD）を分析し、PCA-OGDを提案する。PCA-OGDは、タスクデータを主成分に圧縮することで忘却を軽減し、Split MNISTおよびCIFAR-100でより高い精度と低い忘却誤差を達成する。

ABSTRACT

Continual learning (CL) is a setting in which an agent has to learn from an incoming stream of data during its entire lifetime. Although major advances have been made in the field, one recurring problem which remains unsolved is that of Catastrophic Forgetting (CF). While the issue has been extensively studied empirically, little attention has been paid from a theoretical angle. In this paper, we show that the impact of CF increases as two tasks increasingly align. We introduce a measure of task similarity called the NTK overlap matrix which is at the core of CF. We analyze common projected gradient algorithms and demonstrate how they mitigate forgetting. Then, we propose a variant of Orthogonal Gradient Descent (OGD) which leverages structure of the data through Principal Component Analysis (PCA). Experiments support our theoretical findings and show how our method can help reduce CF on classical CL datasets.

研究の動機と目的

• 連続学習における災害的忘却の理論的枠組みを、ニューラルタングェントカーネル（NTK）領域を用いて提供すること。
• タスクの類似度を定量化する新しい指標「NTKオーバーラップ行列」を定義し、タスク間の整合性が忘却をどのように増幅させるかを明らかにすること。
• OGDやGEMなどの正規直交射影手法の忘却メカニズムをNTKフレームワーク内で分析すること。
• 主成分分析（PCA）を活用してタスク表現を圧縮し、忘却を軽減するOGDの拡張版であるPCA-OGDを提案すること。
• 標準的な連続学習ベンチマーク（例：Split MNISTおよびCIFAR-100）を用いて、理論的知見を実験的に検証すること。

提案手法

• NTKオーバーラップ行列は、NTK領域におけるソースタスクとターゲットタスクの勾配間の類似度を測る指標として導出され、タスク間の整合性が忘却をどのように増幅させるかを捉える。
• 射影ベースの手法における忘却誤差は、NTKオーバーラップ行列を用いて解析的に表現され、それが忘却の大きさを決定する中心的役割を果たすことが示された。
• 正規直交勾配降下法（OGD）は、過去のタスク性能を保持するために勾配を残差部分空間に射影する基準手法として分析された。
• PCA-OGDは、メモリバッファに主成分分析（PCA）を適用し、勾配射影の前に最も情報量の多い主成分のみを保持することで、OGDの拡張版として提案された。
• この手法は、データ構造に着目し、変動の主要方向に集中することで、ノイズや冗長なメモリサンプルの影響を軽減する。
• 理論的分析により、PCA-OGDはOGDと同等の漸近的計算複雑度を維持しており、少数の主成分に制限されたPCAによるオーバーヘッドはわずかであることが示された。

実験結果

リサーチクエスチョン

• RQ1 NTKオーバーラップ行列で測定されるタスク類似度は、連続学習における災害的忘却の大きさにどのように影響するか？
• RQ2 正規直交射影手法（例：OGD）が忘却をどのように軽減する理論的メカニズムがあるか？
• RQ3 PCA-OGDが標準的なOGDを上回る場面はどのような状況か？
• RQ4 タスクデータの構造、特にその主成分方向はPCA-OGDの性能にどのように影響するか？
• RQ5 メモリサイズを拡大することで、PCA-OGDがOGDを上回る忘却軽減効果をより顕著に示すか？

主な発見

• Split MNISTでは、PCA-OGDが最終精度99.67 ± 0.08を達成し、OGD（99.64 ± 0.09）を上回り、忘却誤差も低減した。
• CIFAR-100では、PCA-OGDが最終精度94.14 ± 0.42を達成し、同じ設定でOGD（94.41 ± 0.40）と比較してより低い忘却を示した。
• NTKオーバーラップ行列は、忘却の主要な決定要因であることが示された。タスク間の整合性が高いほど、忘却の深刻さが増す。
• 一様分布データの最悪ケースでは、PCA-OGDはOGDよりも高い忘却を示した。これは、PCA-OGDがデータ構造に依存していることを確認した。
• メモリサイズを拡大することで、PCA-OGDの性能が向上した。NTKオーバーラップ行列の固有値解析により、主成分方向との整合性が向上していることが示された。
• PCA-OGDの計算複雑度は、OGDと漸近的に同等であり、少数の主成分に制限されたPCAによるオーバーヘッドは無視できるほどであった。