[論文レビュー] TRGP: Trust Region Gradient Projection for Continual Learning

Sen Lin, Li Yang+2 more|arXiv (Cornell University)|Feb 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 22

ひとこと要約

TRGPは、層ごとに関連性の高い旧タスクを選択するためのトラストリージョンを導入し、凍結済みの重みを再利用するためのスケーリング付き重み射影を導入することで、継続学習におけるフォワード知識移転を改善しつつ忘却を抑制します。

ABSTRACT

Catastrophic forgetting is one of the major challenges in continual learning. To address this issue, some existing methods put restrictive constraints on the optimization space of the new task for minimizing the interference to old tasks. However, this may lead to unsatisfactory performance for the new task, especially when the new task is strongly correlated with old tasks. To tackle this challenge, we propose Trust Region Gradient Projection (TRGP) for continual learning to facilitate the forward knowledge transfer based on an efficient characterization of task correlation. Particularly, we introduce a notion of `trust region' to select the most related old tasks for the new task in a layer-wise and single-shot manner, using the norm of gradient projection onto the subspace spanned by task inputs. Then, a scaled weight projection is proposed to cleverly reuse the frozen weights of the selected old tasks in the trust region through a layer-wise scaling matrix. By jointly optimizing the scaling matrices and the model, where the model is updated along the directions orthogonal to the subspaces of old tasks, TRGP can effectively prompt knowledge transfer without forgetting. Extensive experiments show that our approach achieves significant improvement over related state-of-the-art methods.

研究の動機と目的

• 非拡張型継続学習設定において、フォワード知識移転と忘却のバランスを取る必要性を動機づける。
• ネットワークの各層に対して最も関連のある旧タスクを特定するための層間トラストリージョンを提案する。
• トラストリージョン内で、選択された旧タスクから凍結された重みを再利用するためのスケーリング重み射影を導入する。
• 忘却を避けつつ新しいタスクの学習を改善するために、スケーリング行列とネットワークパラメータを共同で最適化する。

提案手法

• SVDベースの表現を用いて、旧タスクから層ごとの部分空間 S_j^l を定義する。
• 各層に対して旧タスクの部分空間への勾配射影を計算し、トラストリージョン TR_t^l を形成する。
• トラストリージョン内の勾配射影ノルムに基づいて上位K件の相関のある旧タスクを選択する。
• Old task knowledge を上書きせず再利用するために、スケーリング行列 Q_j,t^l を導入して Proj_Sj^l^Q(W^{l}) を実行する。
• トラストリージョンのタスクからの射影と旧タスク部分空間への正交方向を組み合わせた有効重み W_eff^l を用いて L を最適化し、モデルを更新する。
• 表現のSVDを用いて各旧タスクの入力サブスペース S_j^l を構築し、rank-k近似と閾値処理によって基底を選択する。

実験結果

リサーチクエスチョン

• RQ1 継続学習における知識移転を促進するために、タスク間の相関を効果的に特徴付けるにはどうすればよいか？
• RQ2 非拡張型CL手法において、忘却を増やすことなくフォワード知識移転を改善するトラストリージョン機構は機能するか？
• RQ3 相関した旧タスクの部分空間のスケーリング重み射影を用いることが、ベンチマーク全体の最終性能に与える影響はどの程度か？

主な発見

• TRGPは、複数のベンチマーク（PMNIST、CIFAR-100 Split、5-Dataset、MiniImageNet）において、最先端手法より高い最終精度を達成します。
• TRGPはPMNIST、CIFAR-100 Split、MiniImageNetでそれぞれ平均ACCをGPMより2.43%、1.98%、1.37%改善し、5-DatasetではHATより2.34%改善します。
• TRGPは他の競合手法よりBWTが小さく、忘却が抑制されることを示します。例えば、引用データセットでベースラインに対して約0.2%〜0.6%のBWT改善。
• 本手法は全タスクで普遍的な改善を示し、特に難しいタスクで効果的で、難しいタスクではGPMに対する改善がより顕著です。