[論文レビュー] Parameter-Level Soft-Masking for Continual Learning

Tatsuya Konishi, Mori Kurokawa+4 more|arXiv (Cornell University)|Jun 26, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、個々のネットワークパラメータに学習可能なソフトマスクを適用することで、継続的学習における災難的忘却を防ぎつつ、自動的な知識移行を可能にする、新たな継続的学習手法であるパラメータレベル勾配フローのソフトマスキング（SPG）を提案する。過去のタスクに対するパラメータの重要度に基づいて勾配フローを動的に調整することで、SPGは全ネットワーク容量を維持し、類似および非類似タスクの両状況でベースラインを上回る性能を発揮し、ハードなサブネットワーク独占を回避しながら、優れた正確性と忘却の低減を達成する。

ABSTRACT

Existing research on task incremental learning in continual learning has primarily focused on preventing catastrophic forgetting (CF). Although several techniques have achieved learning with no CF, they attain it by letting each task monopolize a sub-network in a shared network, which seriously limits knowledge transfer (KT) and causes over-consumption of the network capacity, i.e., as more tasks are learned, the performance deteriorates. The goal of this paper is threefold: (1) overcoming CF, (2) encouraging KT, and (3) tackling the capacity problem. A novel technique (called SPG) is proposed that soft-masks (partially blocks) parameter updating in training based on the importance of each parameter to old tasks. Each task still uses the full network, i.e., no monopoly of any part of the network by any task, which enables maximum KT and reduction in capacity usage. To our knowledge, this is the first work that soft-masks a model at the parameter-level for continual learning. Extensive experiments demonstrate the effectiveness of SPG in achieving all three objectives. More notably, it attains significant transfer of knowledge not only among similar tasks (with shared knowledge) but also among dissimilar tasks (with little shared knowledge) while mitigating CF.

研究の動機と目的

• タスクインクリメンタル継続的学習（TIL）における災難的忘却（CF）を、知識移行（KT）やネットワーク容量の過剰消費を犠牲にせずに克服すること。
• ニューロンやサブネットワークをハードマスクする従来の手法の限界に対処すること。これらの手法は知識移行を制限し、時間経過とともに性能を低下させる。
• 勾配に基づく重要度スコアに依存するソフトマスキングによる、柔軟で細分化されたパラメータ更新を可能とし、ネットワーク容量を保持するとともに、類似および非類似タスク間でのKTを実現すること。
• パラメータレベルでのソフトマスキングが、CF防止とKTのバランスを取るうえで、正則化やハードマスキング戦略よりも優れていることを実証すること。

提案手法

• SPGは、各個々のパラメータの過去のタスクに対する勾配に基づく重要度スコアを計算し、タスクヘッド間の重要度を集約するためにクロスヘッド重要度（CHI）を用いる。
• バックプロパゲーション中に勾配フローにソフトマスクを適用し、マスク値はパラメータの重要度の学習可能で微分可能な関数として定義され、部分的な勾配更新を可能にする。
• 各ヘッドのソフトマスキング（SMH）を用いることで、特徴抽出器と分類ヘッド間の学習バランスを改善し、安定性と性能を向上させる。
• HAT や SupSup とは異なり、SPGはニューロンやサブネットワークをハードマスクしない。代わりに、フォワードパスで全パラメータを訓練可能に保つため、完全な知識移行が可能である。
• 重要度スコアは過去のタスクからの勾配を用いて計算され、旧タスクに重要なパラメータへの更新を動的に抑制する。
• 二値のしきい値を用いないことで、ハードマスキングの代替手法よりも柔軟かつ頑健である。

実験結果

リサーチクエスチョン

• RQ1 パラメータレベルでのソフトマスキングは、継続的学習における災難的忘却の防止と知識移行の両立に有効に機能するか？
• RQ2 EWC などの正則化ベースの手法と比較して、パラメータレベルでのソフトマスキングは、忘却防止にどの程度優れているか？
• RQ3 共有知識が最小限の非類似タスク間で、SPGはどの程度知識移行を可能にするか？
• RQ4 ハードマスキング手法がサブネットワークを独占するのと比較して、ソフトマスキングは容量問題を軽減するか？
• RQ5 SPGの個々の構成要素（CHI、SMH、ソフトマスキング）は、全体の性能にどの程度寄与しているか？

主な発見

• SPGは、標準的な継続的学習ベンチマークで最先端の性能を達成し、HAT や SupSup、EWC といった強力なベースラインを、類似および非類似タスクの両設定で上回った。
• 非類似タスクを含む C-20 データセットでは、クロスヘッド重要度（CHI）を含まないアブレーションと比較して、SPGは5.5%の正確性向上を達成し、忘却の緩和効果を実証した。
• ソフトマスキングを用いたSPGは、しきい値のチューニングが必要なハードマスキングバージョンを著しく上回り、性能劣化を引き起こす傾向があることから、連続的ソフトマスキングの優位性を裏付けた。
• 表現学習評価では、100タスクを経過した後も、TinyImageNet や CIFAR100 といった非CLデータセットでSPGは高い正確性を維持したが、NCL や HAT は著しい性能劣化を示した。
• アブレーションスタディにより、CHI、SMH、ソフトマスキングの3要素すべてが正の寄与を示した。特にSMHは、I-100で最大2.9%の向上をもたらし、学習バランスの重要性を強調した。
• SPGは、タスクの類似性を検出する必要がなく、自動的な知識移行を可能にした。これにより、誤分類に起因する災難的忘却のリスクも回避した。