[論文レビュー] Toward Understanding Catastrophic Forgetting in Continual Learning

Cuong V. Nguyen, Alessandro Achille+4 more|arXiv (Cornell University)|Aug 2, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 33

ひとこと要約

この論文は、タスク列の特性が破局的忘却にどのように関連するかを研究する一般的な手順を提案し、Task2Vec埋め込みを用いて全体的複雑さと連続性の異質性を適用し、MNISTとCIFAR-10におけるSI、VCL、コアセットVCLの最終誤差率との相関を報告する。

ABSTRACT

We study the relationship between catastrophic forgetting and properties of task sequences. In particular, given a sequence of tasks, we would like to understand which properties of this sequence influence the error rates of continual learning algorithms trained on the sequence. To this end, we propose a new procedure that makes use of recent developments in task space modeling as well as correlation analysis to specify and analyze the properties we are interested in. As an application, we apply our procedure to study two properties of a task sequence: (1) total complexity and (2) sequential heterogeneity. We show that error rates are strongly and positively correlated to a task sequence's total complexity for some state-of-the-art algorithms. We also show that, surprisingly, the error rates have no or even negative correlations in some cases to sequential heterogeneity. Our findings suggest directions for improving continual learning benchmarks and methods.

研究の動機と目的

• タスク列のどの性質が継続学習の誤差率に影響を与えるのかを理解する。
• タスク空間埋め込みを用いてタスク列の性質を定量化する一般的な手順を提案する。
• この手順を2つの性質、総合的複雑さと連続性の異質性に適用する。
• これらの性質と最新の継続学習手法の最終的な誤差率との相関を分析する。

提案手法

• 事前学習済みのプローブネットワークから埋め込みベクトルへタスクをマッピングするためにTask2Vecを用いる。
• タスクレベルの複雑さC(t)を、平凡なタスクとの距離として定義し、C(t)=d(e_t,e_0)。
• タスク列Tに対して総合的複雑さC(T)=sum_t C(t)と定義する。
• 連続タスクの対ごとの非類似性の総和として連続性の異質性F(T)=sum of pairwise dissimilarities of consecutive tasks, F(t_i,t_{i+1})=d(e_{t_i},e_{t_{i+1}})。
• 実際の難度H_A(T)を、列に基づいて訓練された継続学習アルゴリズムAの最終誤差率として測定する。
• 複数の列に渡って(C(T),F(T))とH_A(T)のピアソン相関を計算し; 適切に列の長さと複雑さを制御する。
• MNISTとCIFAR-10で、複数のタスク列とマルチヘッド設定を用いてSI、VCL、コアセットVCLを実験する。

実験結果

リサーチクエスチョン

• RQ1 タスク列のどの性質（例：総合的複雑さ、連続性の異質性）が継続学習の難易度と相関するか？
• RQ2 タスク列の複雑さが主に忘却を誘導するのか、それとも連続タスク間の非類似性が重要な役割を果たすのか？
• RQ3 現代の継続学習アルゴリズム（SI、VCL、コアセットVCL）は、これらの列の性質の変動にどのように応答するか？

主な発見

変数	アルゴリズム	MNIST-256^2	MNIST-50	MNIST-20	CIFAR-10
(a) Total complexity	SI	0.24 (p<0.01)	0.22 (p<0.05)	0.36 (p<0.01)	0.86 (p<0.01)
(a) Total complexity	VCL	0.05 (p=0.59)	0.17 (p=0.07)	0.21 (p<0.05)	0.69 (p<0.01)
(a) Total complexity	Coreset VCL	0.28 (p<0.01)	0.41 (p<0.01)	0.37 (p<0.01)	-
(b) Sequential heterogeneity	SI	-0.01 (p=0.86)	0.05 (p=0.55)	0.07 (p=0.48)	0.30 (p<0.01)
(b) Sequential heterogeneity	VCL	0.04 (p=0.69)	0.01 (p=0.88)	0.05 (p=0.58)	0.21 (p<0.05)
(b) Sequential heterogeneity	Coreset VCL	0.09 (p=0.31)	0.12 (p=0.18)	0.18 (p=0.05)	-
(c) Normalized sequential heterogeneity	SI	-0.07 (p=0.43)	-0.04 (p=0.65)	0.05 (p=0.58)	-0.25 (p<0.01)
(c) Normalized sequential heterogeneity	VCL	0.03 (p=0.76)	-0.20 (p<0.05)	-0.21 (p<0.05)	-0.17 (p=0.06)
(c) Normalized sequential heterogeneity	Coreset VCL	-0.08 (p=0.37)	-0.26 (p<0.01)	-0.16 (p=0.07)	-

• 総合的複雑さは、CIFAR-10におけるSI、VCL、およびコアセットVCL全体で最終的な誤差率と強い正の相関を示す（例：SI r=0.86, p<0.01）。
• MNIST では総合的複雑さと誤差率の相関はより弱いが依然として正であり、モデル容量が低下すると強まる。
• 連続性の異質性は誤差率との相関が弱いか混合的で、正規化された連続性の異質性を用いる場合には時に負の相関を示す。
• 正規化された連続性の異質性の負の相関は、連続タスク間のより大きな非類似性が継続学習の性能を改善する場合があることを示唆する。
• コアセットVCLは、テストしたすべてのCIFAR-10およびMNIST設定で誤差率と総合的複雑さとの強い正の相関を示す（例：MNIST-256^2: 0.28, p<0.01; CIFAR-10: 0.69, p<0.01）。
• 結果は、ベンチマークとアルゴリズムを設計する際にタスクの複雑さを考慮すべきであること、およびタスク間の移行がタスクペアへのカスタマイズから利益を得る可能性があることを示唆する。