[論文レビュー] Flattening Sharpness for Dynamic Gradient Projection Memory Benefits Continual Learning

Danruo Deng, Guangyong Chen+3 more|arXiv (Cornell University)|Oct 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 24

ひとこと要約

本論文は FS-DGPM を提案し、Flattening Sharpness と Dynamic Gradient Projection Memory を組み合わせて、継続学習における忘却を軽減し、新しいタスクの学習を改善する。過去タスクの勾配基底を適応的に再重み付けし、損失景観の平坦性を制御することによって。

ABSTRACT

The backpropagation networks are notably susceptible to catastrophic forgetting, where networks tend to forget previously learned skills upon learning new ones. To address such the 'sensitivity-stability' dilemma, most previous efforts have been contributed to minimizing the empirical risk with different parameter regularization terms and episodic memory, but rarely exploring the usages of the weight loss landscape. In this paper, we investigate the relationship between the weight loss landscape and sensitivity-stability in the continual learning scenario, based on which, we propose a novel method, Flattening Sharpness for Dynamic Gradient Projection Memory (FS-DGPM). In particular, we introduce a soft weight to represent the importance of each basis representing past tasks in GPM, which can be adaptively learned during the learning process, so that less important bases can be dynamically released to improve the sensitivity of new skill learning. We further introduce Flattening Sharpness (FS) to reduce the generalization gap by explicitly regulating the flatness of the weight loss landscape of all seen tasks. As demonstrated empirically, our proposed method consistently outperforms baselines with the superior ability to learn new skills while alleviating forgetting effectively.

研究の動機と目的

• 継続学習における安定性と感度に関連する重量の損失景観を調査する。
• 平坦な損失景観がより良い継続学習の性能と相関することを特徴づける。
• 新しいタスクの学習を改善するために、過去タスクからの勾配基底の重要性を動的に調整する方法を開発する。
• GPM を拡張し、鋭さを平坦化し、重要度の低い基底を適応的に解放するメカニズムを追加して、忘却と適応をバランスさせる。

提案手法

• 過去タスクの勾配部分空間を基底行列 M と重要度行列 Λ でモデル化する。
• 過去タスクの部分空間内で重みを摺動させて現在のタスクの鋭さを評価・低減するために、敵対的摂動 v を計算する。
• 現在の勾配とメモリデータの勾配に基づいて Λ を更新し、各基底の更新を動的に解放または引き締める。
• 過去タスクの部分空間からの更新を投影して重み w を更新し、古い知識を保持しつつ新しいタスクに適応する。
• 再現データに対して SVD によって基底 M を再計算し、過去タスクを表す部分空間を最新の状態に保つ。
• 平坦性・損失・継続学習性能を結ぶ PAC-Bayes の境界を通じて理論的根拠を提供する。

実験結果

リサーチクエスチョン

• RQ1 重量の損失景観は継続学習の安定性と感度をどのように形作るのか？
• RQ2 より平坦な損失景観と低い鋭さは、一般化と忘却の低減に寄与するのか？
• RQ3 過去タスクの勾配基底を適応的に重みづけして新しいタスクの学習を改善できるか、古いタスクを損なうことなく？
• RQ4 Flattening Sharpness と Dynamic Gradient Projection Memory（FS-DGPM）を組み合わせると、既存手法と比較して継続学習性能が向上するのか？

主な発見

• FS-DGPM は PMNIST、CIFAR-100 Split、CIFAR-100 Superclass、TinyImageNet の平均精度の観点で一貫してベースラインを上回る。
• 本手法は古いタスクで強い性能を達成しつつ、新しいタスクの学習速度と精度を維持または向上させ、安定性を損なうことなく感度を改善している。
• アブレーション研究は、鋭さの平坦化と基底の適応的ソフトウェイト付けが、GPM および関連変種に比べて性能向上に寄与することを示している。
• FS-DGPM は忘却を抑制（BWT）し、複数のベンチマークで競合手法よりも高い総合精度を達成する。
• 単一ヘッドおよびマルチヘッド設定の両方で頑健性を保ち、いくつかのベースラインと比較して記憶効率が好ましい。