[論文レビュー] Maintaining Discrimination and Fairness in Class Incremental Learning

Bowen Zhao, Xi Xiao+3 more|arXiv (Cornell University)|Nov 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 31

ひとこと要約

本稿では、クラスインクリメンタル学習における深刻な忘れを軽減するための新しい手法を提案する。この手法は、クラス内識別性を高めるための知識蒸留（KD）と、完全結合層の重みの偏りを是正するためのトレーニング後重み整合化（WA）技術を組み合わせており、古くからのクラスと新しいクラスの間の公平性を顕著に向上させる。本手法は、検証セットや追加パラメータを必要とせず、ImageNet-1000、ImageNet-100、CIFAR-100で最先端の精度を達成する。

ABSTRACT

Deep neural networks (DNNs) have been applied in class incremental learning, which aims to solve common real-world problems of learning new classes continually. One drawback of standard DNNs is that they are prone to catastrophic forgetting. Knowledge distillation (KD) is a commonly used technique to alleviate this problem. In this paper, we demonstrate it can indeed help the model to output more discriminative results within old classes. However, it cannot alleviate the problem that the model tends to classify objects into new classes, causing the positive effect of KD to be hidden and limited. We observed that an important factor causing catastrophic forgetting is that the weights in the last fully connected (FC) layer are highly biased in class incremental learning. In this paper, we propose a simple and effective solution motivated by the aforementioned observations to address catastrophic forgetting. Firstly, we utilize KD to maintain the discrimination within old classes. Then, to further maintain the fairness between old classes and new classes, we propose Weight Aligning (WA) that corrects the biased weights in the FC layer after normal training process. Unlike previous work, WA does not require any extra parameters or a validation set in advance, as it utilizes the information provided by the biased weights themselves. The proposed method is evaluated on ImageNet-1000, ImageNet-100, and CIFAR-100 under various settings. Experimental results show that the proposed method can effectively alleviate catastrophic forgetting and significantly outperform state-of-the-art methods.

研究の動機と目的

• 知識蒸留がクラスインクリメンタル学習において果たす実際の役割を調査すること、すなわちその利点と限界を含めて。
• 最終完全結合層の重みの不均衡によって引き起こされる、新しいクラスに対する分類の偏りの根本的要因を特定し、是正すること。
• 古くからのクラス内の識別性を維持するとともに、古くからのクラスと新しいクラスの間の公平性を保つ、シンプルで効果的な手法を開発すること。
• 継続的学習において、検証セットや追加のトレーニング可能なパラメータを排除すること。
• ImageNet-1000、ImageNet-100、CIFAR-100といった標準ベンチマークで最先端の性能を達成すること。

提案手法

• トレーニング中に知識蒸留を適用し、教師モデルから得たソフトラベルを用いて、古くからのクラス内の特徴の識別性を維持する。
• 標準的なトレーニング後、最終完全結合層の重みの偏りを是正するための後処理手順として、重み整合化（WA）を実施する。
• WAは、古くからのクラスと新しいクラスの重みベクトルのL2ノルムに基づいてスケール要因γを計算し、新しいクラスのロジットをスケーリングすることで予測の信頼度をバランスさせる。
• 本手法は追加パラメータや検証セットを必要とせず、トレーニング済みモデルの重み情報のみを用いる。
• スケール要因γは、新しいクラスの出力ロジットに適用され、過剰な自信を低下させ、公平性を向上させる。
• 本手法は、L1またはL2ノルムの選択やエキスアール選択戦略の違いに対しても頑健であり、性能への影響は最小限に抑えられる。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留だけでは、クラスインクリメンタル学習における深刻な忘れを十分に是正できるのか、それとも隠れた限界があるのか？
• RQ2 最終完全結合層の重みの偏りが、モデルが新しいクラスに傾倒する要因として、どの程度寄与しているのか？
• RQ3 再トレーニングや検証セットを用いずに、古くからのクラスと新しいクラスの間の公平性を向上させることは可能か？
• RQ4 トレーニング済みモデルの重み情報のみを用いて、重みの偏りを是正することは可能か？
• RQ5 本手法は、最先端の手法と比較して、精度と効率の面でどの程度優れているのか？

主な発見

• 本手法は、100回のインクリメンタルステップを経たImageNet-1000で72.9%のトップ-1精度を達成し、従来の最先端手法を上回った。
• 20回のインクリメンタルステップを経たCIFAR-100では、平均62.6%の精度を達成し、BiC（62.1%）や他の最先端手法を上回った。
• 知識蒸留は古くからのクラス内の識別性を効果的に維持するが、モデルが新しいクラスに傾倒する偏りを是正できない。
• 重み整合化は、重みのノルムに基づいて得たスケール要因を用いて新しいクラスのロジットをスケーリングすることで、公平性を顕著に向上させ、追加パラメータを一切不要とする。
• 本手法は、L1またはL2ノルムの選択やエキスアール選択戦略の違いに対しても頑健であり、性能の変動は最小限に抑えられる。
• アブレーションスタディの結果、重みを正の値に制限することで、スケール要因γの安定性が向上し、公平性がさらに高まることが確認された。