[論文レビュー] Beyond Not-Forgetting: Continual Learning with Backward Knowledge Transfer

Sen Lin, Li Yang+2 more|arXiv (Cornell University)|Nov 1, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本論文は、勾配投影を用いて正に相関するタスクを特定することで、新しいタスクを学習する際、古いタスクのモデルを選択的に更新することにより、バックワード知識移行を可能にする継続的学習手法CUBERを提案する。従来の手法が忘却を防ぐために古いモデルを固定するのとは異なり、CUBERはデータリプレイを用いずに標準ベンチマークで正のバックワード知識移行を達成し、新しいタスクおよび古いタスクの両方の性能を向上させる。

ABSTRACT

By learning a sequence of tasks continually, an agent in continual learning (CL) can improve the learning performance of both a new task and `old' tasks by leveraging the forward knowledge transfer and the backward knowledge transfer, respectively. However, most existing CL methods focus on addressing catastrophic forgetting in neural networks by minimizing the modification of the learnt model for old tasks. This inevitably limits the backward knowledge transfer from the new task to the old tasks, because judicious model updates could possibly improve the learning performance of the old tasks as well. To tackle this problem, we first theoretically analyze the conditions under which updating the learnt model of old tasks could be beneficial for CL and also lead to backward knowledge transfer, based on the gradient projection onto the input subspaces of old tasks. Building on the theoretical analysis, we next develop a ContinUal learning method with Backward knowlEdge tRansfer (CUBER), for a fixed capacity neural network without data replay. In particular, CUBER first characterizes the task correlation to identify the positively correlated old tasks in a layer-wise manner, and then selectively modifies the learnt model of the old tasks when learning the new task. Experimental studies show that CUBER can even achieve positive backward knowledge transfer on several existing CL benchmarks for the first time without data replay, where the related baselines still suffer from catastrophic forgetting (negative backward knowledge transfer). The superior performance of CUBER on the backward knowledge transfer also leads to higher accuracy accordingly.

研究の動機と目的

• 既存の継続的学習手法が忘却を防ぐために古いモデルを固定するという制限を是正すること。
• 新しいタスクと古いタスクが正に相関する場合、いつ、どのようにして古いタスクのモデルを更新することが学習性能の向上に寄与するかを調査すること。
• データリプレイを用いずに、固定容量のニューラルネットワークにおけるバックワード知識移行を可能にする手法を開発すること。
• 勾配の整合性に基づいて、タスク部分空間における勾配の整合性を理論的に特徴づけ、古いタスクに対するモデル更新が有益である条件を同定すること。

提案手法

• CUBERは、古いタスクの入力部分空間への勾配投影を用いてタスクの相関を定量化し、正に相関するタスクを同定する。
• 閾値に基づいた投影強度を用いて、更新なしの状態（第1段階）と選択的モデル更新の状態（第3段階）の2つの段階を導入する。
• 勾配投影の強度が閾値を超えた場合にのみ、直交投影を用いて選択された古いタスクのモデルを更新し、干渉を最小限に抑える。
• レイヤーごとの解析を用いて、新しいタスクと強く相関する古いタスクを同定し、的確なモデル更新を可能にする。
• SVDを用いてタスク部分空間の基底を抽出し、投影に基づく相関度を計算することで、更新意思決定を支援する。
• 正に相関する古いタスクの部分空間において勾配制約を緩和することで、新しいタスクに対するフォワード知識移行を向上させる。

実験結果

リサーチクエスチョン

• RQ1 古いタスクのモデルを更新することが、崩壊的忘却の原因となるのではなく、継続的学習において有益である条件は何か？
• RQ2 データリプレイを用いずに、固定容量のニューラルネットワークにおけるバックワード知識移行をどのように達成できるか？
• RQ3 古いタスクの入力部分空間における勾配整合性が、古いタスクに対する有益なモデル更新を可能にする役割は何か？
• RQ4 古いタスクのモデルを効果的に選択的に更新することで、新しいタスクと古いタスクの両方の性能を同時に向上させられるか？
• RQ5 継続的学習における選択的モデル更新を指導するため、タスクの相関を定量的にどのように測定できるか？

主な発見

• CUBERは、Split CIFAR-100、Split MiniImageNet、Permuted MNISTベンチマークで、データリプレイを用いずに正のバックワード知識移行を達成した。これは、このような正の移行がデータリプレイなしで実証された初の事例である。
• Split CIFAR-100では、CUBERのバックワード知識移行（BWT）は0.01%であり、GPMの0.22%やTRGPの0.03%と比較して、忘却が最小限に抑えられ、効果的なバックワード移行が実現されている。
• CUBERはSplit CIFAR-100で2.79%、Split MiniImageNetで3.13%のフォワード知識移行（FWT）の向上を達成し、TRGPやGPMを上回る性能を示した。
• CUBERの性能は閾値ε₂に対して安定しており、ε₂を0.0から0.5に増加させると、BWTは0.22%から0.01%に低下し、制御的かつ効果的なモデル更新が実現されていることが示された。
• 正に相関する古いタスクのモデルを更新することで勾配制約を緩和できるCUBERの特性は、全体の精度を向上させるとともに、学習効率の向上にも寄与している。