[論文レビュー] DER: Dynamically Expandable Representation for Class Incremental Learning

Shipeng Yan, Jiangwei Xie+1 more|arXiv (Cornell University)|Mar 31, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 42

ひとこと要約

DERはクラス増分学習のための動的に拡張可能な表現を導入し、古い特徴を凍結しつつ、各ステップで新しい学習可能な抽出器を追加します。補助損失とチャネルレベルの剪定を用いてメモリ制限下の安定性と可塑性のバランスを取ることで、CIFAR-100およびImageNetのサブセットで最先端の性能を達成します。

ABSTRACT

We address the problem of class incremental learning, which is a core step towards achieving adaptive vision intelligence. In particular, we consider the task setting of incremental learning with limited memory and aim to achieve better stability-plasticity trade-off. To this end, we propose a novel two-stage learning approach that utilizes a dynamically expandable representation for more effective incremental concept modeling. Specifically, at each incremental step, we freeze the previously learned representation and augment it with additional feature dimensions from a new learnable feature extractor. This enables us to integrate new visual concepts with retaining learned knowledge. We dynamically expand the representation according to the complexity of novel concepts by introducing a channel-level mask-based pruning strategy. Moreover, we introduce an auxiliary loss to encourage the model to learn diverse and discriminate features for novel concepts. We conduct extensive experiments on the three class incremental learning benchmarks and our method consistently outperforms other methods with a large margin.

研究の動機と目的

• 限られたメモリ下でのクラスインクリメンタル学習における安定性と可塑性のジレンマに対処する。
• 既存表現を凍結し、増分ステップごとに新しい特徴抽出器を追加する二段階フレームワークを提案する。
• 表現の動的拡張を剪定機構と組み合わせて実現し、コンパクト性と効率を維持する。

提案手法

• 表現学習と分類器学習の二段階学習スキームを維持する。
• ステップtでは、既存の特徴抽出器を凍結し、新しい抽出器Ftを追加して、特徴を [Φt-1(x), Ft(x)] と連結する。
• 新しいクラスの多様で識別力のある特徴を促進するために Ft に補助損失を適用する。
• Ft に対して導関数可能なチャネルレベルのマスクベース剪定を適用し、新規性に適応したモデル容量を調整する。
• メモリ上と新規データ上の交差エントロピーで訓練し、古い概念と新しい概念を区別する補助分類器（ER損失）を追加する。
• クラス不均衡を緩和するための分類器のバランスの取れたファインチューニングを行う。

Figure 1 : The average incremental accuracy for different model size. We compare our model with prior methods (WA [ 39 ] , BiC [ 12 ] , RPSNet [ 26 ] , iCaRL [ 27 ] , UCIR [ 12 ] , PODNet [ 6 ] ) and the model trained on all the data (Joint) on the experiment CIFAR100-B0 of 10 steps.

実験結果

リサーチクエスチョン

• RQ1 動的に拡張可能な表現は、メモリ制約下でのクラスインクリメンタル学習の安定性-可塑性トレードオフを改善できるか？
• RQ2 新しく凍結済みの前提と学習可能な抽出器を加え、剪定と補助損失を併用することで、従来法を上回る性能を得るか？
• RQ3 補助損失と剪定が後向き転移と前向き転移および全体の効率に与える影響は何か？
• RQ4 DERは標準的な増分プロトコルの下で、CIFAR-100とImageNetサブセットでどのように性能を発揮するか？

主な発見

• DERは複数の増分プロトコル下でCIFAR-100およびImageNetのベンチマークにおいて、従来の最先端手法を一貫して上回る。
• 本手法は最終ステップの精度で顕著な向上を達成し、例えばCIFAR100-B0で50ステップの場合、最終ステップの精度は強力なベースラインと比較して7.73ポイント向上する。
• CIFAR-100の実験では、モデルサイズが大きくなりステップ数が増えるほどDERの優位性が高まり、長い増分列へのスケーラビリティが示されている。
• ImageNet-100およびImageNet-1000のベンチマークでは、ImageNet-100-B0で平均top-5精度を約1.79ポイント改善し、ImageNet-100-B50で最終ステップのtop-1精度を5.15ポイント、ImageNet-1000-B0で3.02ポイント向上させる。
• アブレーション研究は、拡張可能な表現が非拡張ベースラインに対して大きな利得（例: 12.0ポイント超）をもたらすことを示し、補助損失の追加が追加の改善をもたらし、剪定は最小の性能低下でコンパクト性を維持する。
• 本手法はステップ間で表現の後方転移と前方転移の両方にポジティブな影響を示し、知識の保持と伝達が効果的であることを示している。

Figure 2 : Dynamically Expandable Representation Learning. At step $t$ , the model is composed of super-feature extractor $\Phi_{t}$ and classifier $\mathcal{H}_{t}$ , where $\Phi_{t}$ is built by expanding the existing super-feature extractor $\Phi_{t-1}^{P}$ with new feature extractor $\mathcal{F}