[論文レビュー] Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolidation

Min Soo Kang, Jaeyoo Park+1 more|arXiv (Cornell University)|Apr 2, 2022

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本稿では、モデル更新時の損失増加を最小限に抑えるために、重要度に基づいて特徴マップの重みを動的に調整する知識蒸留手法を提案する。表現の変化が損失に与える影響を推定することで、安定性を保つために重要な特徴を維持しつつ、重要度が低い特徴については柔軟性を確保する。この手法により、継続的学習における深刻な忘却が顕著に軽減され、CIFAR-100において50段階の段階的学習で平均62.58%の精度を達成し、先行手法を上回る性能を発揮する。

ABSTRACT

We present a novel class incremental learning approach based on deep neural networks, which continually learns new tasks with limited memory for storing examples in the previous tasks. Our algorithm is based on knowledge distillation and provides a principled way to maintain the representations of old models while adjusting to new tasks effectively. The proposed method estimates the relationship between the representation changes and the resulting loss increases incurred by model updates. It minimizes the upper bound of the loss increases using the representations, which exploits the estimated importance of each feature map within a backbone model. Based on the importance, the model restricts updates of important features for robustness while allowing changes in less critical features for flexibility. This optimization strategy effectively alleviates the notorious catastrophic forgetting problem despite the limited accessibility of data in the previous tasks. The experimental results show significant accuracy improvement of the proposed algorithm over the existing methods on the standard datasets. Code is available.

研究の動機と目的

• 過去のタスクデータを格納するための限られたメモリしか利用できないクラス増分学習における深刻な忘却の問題を解決すること。
• 均一な重み付けではなく、特徴マップの重要度を組み込むことで、知識蒸留を改善すること。
• モデル更新に起因する期待損失増加の上界を最小化する原理的で整合性のある手法を開発すること。
• 動的特徴重み付けを通じて、旧タスクに対する耐性と新タスクへの適応性のバランスをとること。
• 継続的学習のシナリオにおいて高い性能を維持しつつ、計算およびメモリのオーバーヘッドを低減すること。

提案手法

• 本手法は、モデル更新中の特徴マップの分布シフトとそれに伴う損失増加の関係を推定する。
• 期待損失増加の上界を導出し、その上界を特徴マップの重要度に基づいた適応的重み付けによって最小化する。
• 重要度は、損失関数に対する特徴マップ活性化の勾配を用いて計算され、予測誤差への寄与度を反映する。
• 学習済みの重みを用いた知識蒸留により、重要な特徴の更新を制約し、重要度が低い特徴については変更を許容する。
• 過去のタスクからのエキジンプレセットを用い、それらを現在のタスクデータと組み合わせて訓練する。
• ハイパーパrameter λ_disc により、旧知識の保持と新タスクの学習の間のトレードオフを調整する。

実験結果

リサーチクエスチョン

• RQ1 限られたメモリ環境下でのクラス増分学習において、知識蒸留をどのように改善すれば深刻な忘却をより効果的に防げるか？
• RQ2 モデル更新時の特徴マップの分布シフトと損失増加の関係は何か？
• RQ3 ヒューリスティック的または均一な重み付けよりも、データ駆動的で原理的な特徴マップ重要度の割り当て手法は、知識蒸留で優れた性能を発揮できるか？
• RQ4 適応的特徴統合は、異なる段階的学習ステージや初期タスクサイズの変化に対してどのように性能に影響を与えるか？
• RQ5 損失バランス係数 λ_disc のようなハイパーパrameterの選択にどれほど頑健か？

主な発見

• CIFAR-100において50段階の段階的学習を実行した結果、提案手法AFCは平均62.58%の精度を達成し、先行する最先端手法を顕著に上回った。
• CNNベースの損失を用いた場合、AFCは62.18%の精度を達成し、PODNet や UCIR を含むすべての比較手法を上回った。
• 初期タスクサイズを50クラスに縮小し、残りのタスクを1クラスずつにした場合でも、AFCは62.58%の精度を達成し、長期間にわたる段階的学習に対して強い頑健性を示した。
• ハイパーパrameter λ_disc に対して極めて感受性が低く、2.0から6.0の範囲で広く高い性能を維持した。
• 均一な重要度重み付けや他の特徴蒸留ベースラインと比較して、AFCは10ポイント以上の向上を示し、特に一部の設定では顕著な改善を達成した。
• アブレーションスタディの結果、解析的上界に依存するのではなく、提案された損失定式化とエキジンプレセットを併用することで、特にメモリ予算が限られた状況下でもより優れた性能が得られることを確認した。