[論文レビュー] TKIL: Tangent Kernel Approach for Class Balanced Incremental Learning

Jinlin Xiang, Eli Shlizerman|arXiv (Cornell University)|Jun 17, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

TKILは、特徴表現の乖離を最小化するための勾配接線カーネル（GTK）損失と、過学習を防ぐための平均重み更新ルールを組み合わせた、クラスバランスを考慮したインクリメンタル学習の新規手法を提案する。CIFAR-100およびImageNetにおいて最先端の性能を達成し、タスク予測精度がほぼ100％（最大99.9％）に達するとともに、従来手法に比べて一貫したクラス精度の向上を実現した。

ABSTRACT

When learning new tasks in a sequential manner, deep neural networks tend to forget tasks that they previously learned, a phenomenon called catastrophic forgetting. Class incremental learning methods aim to address this problem by keeping a memory of a few exemplars from previously learned tasks, and distilling knowledge from them. However, existing methods struggle to balance the performance across classes since they typically overfit the model to the latest task. In our work, we propose to address these challenges with the introduction of a novel methodology of Tangent Kernel for Incremental Learning (TKIL) that achieves class-balanced performance. The approach preserves the representations across classes and balances the accuracy for each class, and as such achieves better overall accuracy and variance. TKIL approach is based on Neural Tangent Kernel (NTK), which describes the convergence behavior of neural networks as a kernel function in the limit of infinite width. In TKIL, the gradients between feature layers are treated as the distance between the representations of these layers and can be defined as Gradients Tangent Kernel loss (GTK loss) such that it is minimized along with averaging weights. This allows TKIL to automatically identify the task and to quickly adapt to it during inference. Experiments on CIFAR-100 and ImageNet datasets with various incremental learning settings show that these strategies allow TKIL to outperform existing state-of-the-art methods.

研究の動機と目的

• すべてのクラスにおけるバランスの取れたパフォーマンスを維持することで、クラスインクリメンタル学習における深刻な忘却を解消すること。
• 最近に学習したタスクへのバイアスを低減するために、タスク間で一貫した特徴表現を保持すること。
• 推論時にタスクを正確に予測できるようにし、タスク固有のモデルへの有効なファインチューニングを可能にすること。
• メモリ内のクラス不均衡にもかかわらず、最新のタスクに過学習しない学習戦略を開発すること。
• ニューラル接線カーネル（NTK）ダイナミクスに基づく新規な損失関数を導入し、段階的学習における特徴表現の調整を可能にすること。

提案手法

• 過去のタスクと現在のタスクの特徴層の勾配の距離を測定する、勾配接線カーネル（GTK）損失を提案する。
• 訓練中にGTK損失を最小化することで、タスク間での特徴表現を一致させ、乖離を低減する。
• 平均重み更新ルールを採用する：各タスク固有のモデルを1つのミニバッチで訓練し、重みを平均化することで学習の安定化と過学習の防止を図る。
• ニューラル接線カーネル（NTK）理論を活用し、有限幅のネットワークでも勾配の流れのダイナミクスをモデル化し、表現の一致を支援する。
• 入力サンプルのタスクを高精度に予測できるベースモデルを訓練し、推論時にタスク固有のファインチューニングを効果的に行えるようにする。
• GTK損失を知識蒸留（KD）およびメモリリプレイと統合し、過去のタスクからの知識を保持する。

実験結果

リサーチクエスチョン

• RQ1 勾配ダイナミクスに基づくカーネル損失が、インクリメンタル学習におけるクラスバランスの性能向上に寄与するか？
• RQ2 GTK損失は、順次に学習されたタスク間での特徴表現の一貫性と一致性にどのように影響するか？
• RQ3 平均重み更新ルールは、最新のタスクへの過学習を緩和し、クラス全体の一般化性能を向上させるか？
• RQ4 提案手法を用いることで、推論時にどの程度の精度でタスクを予測できるか、そしてそのタスク予測精度がファインチューニング性能にどのように影響するか？
• RQ5 複数のベンチマークにおいて、TKILは全体の精度、クラスバランス精度、タスク予測の信頼性の観点から、最先端手法と比較してどの程度優れているか？

主な発見

• CIFAR-100において10、20、50段階のインクリメンタルステージすべてで、TKILはほぼ100％のタスク予測精度を達成し、ベースラインを著しく上回った。
• CIFAR-100で10段階のインクリメンタル学習を実行した場合、TKILは平均クラス精度82.5％を達成し、次に優れた手法よりも5ポイント以上も上回った。
• CIFAR-100で20段階のインクリメンタル学習を実行した場合、TKILは最小限の低下（勾配～0.8）を示し、安定した精度曲線を維持したが、他の手法では顕著な性能低下が見られた。
• アブレーションスタディの結果、GTK損失と平均重みルールの併用が、CIFAR-100で最高のクラス精度（82.5％）とタスク予測精度（99.9％）を達成した。
• GTK損失の最適なハイパーパrameter γ は γ = 0.1 であり、これは表現の保持と初期・後期のタスクへの過学習の両方をバランスよく防止する。
• ImageNetにおいても、TKILは優れた一般化性能を示し、複数クラスのインクリメンタル学習シナリオで、既存のSOTA手法を上回った。