[論文レビュー] Constrained Few-shot Class-incremental Learning

Michael Hersche, Geethan Karunaratne+4 more|arXiv (Cornell University)|Jan 1, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

C-FSCIL は、固定されたメタ学習済み特徴抽出器、固定サイズの訓練可能な分類器、および動的に拡大する準直交プロトタイプを格納するメモリを用いた制約付き少数ショットクラスインクリメンタル学習フレームワークを提案する。1,200 個のベースクラスに加えて 423 個の新規クラスを学習する際、最小限の精度低下（1.6%未満）で最先端の精度を達成するとともに、計算コストは一定で、メモリ成長は線形である。

ABSTRACT

Continually learning new classes from fresh data without forgetting previous knowledge of old classes is a very challenging research problem. Moreover, it is imperative that such learning must respect certain memory and computational constraints such as (i) training samples are limited to only a few per class, (ii) the computational cost of learning a novel class remains constant, and (iii) the memory footprint of the model grows at most linearly with the number of classes observed. To meet the above constraints, we propose C-FSCIL, which is architecturally composed of a frozen meta-learned feature extractor, a trainable fixed-size fully connected layer, and a rewritable dynamically growing memory that stores as many vectors as the number of encountered classes. C-FSCIL provides three update modes that offer a trade-off between accuracy and compute-memory cost of learning novel classes. C-FSCIL exploits hyperdimensional embedding that allows to continually express many more classes than the fixed dimensions in the vector space, with minimal interference. The quality of class vector representations is further improved by aligning them quasi-orthogonally to each other by means of novel loss functions. Experiments on the CIFAR100, miniImageNet, and Omniglot datasets show that C-FSCIL outperforms the baselines with remarkable accuracy and compression. It also scales up to the largest problem size ever tried in this few-shot setting by learning 423 novel classes on top of 1200 base classes with less than 1.6% accuracy drop. Our code is available at https://github.com/IBM/constrained-FSCIL.

研究の動機と目的

• 厳密なメモリ、計算コスト、モデルサイズ制約下での継続的少数ショット学習の課題に対処すること。
• わずか数サンプルからのみ新規クラスを学習する際の災難的忘却を防止すること。
• 最小限の再訓練と線形のメモリ成長を実現するスケーラブルで効率的かつ正確な段階的学習を可能にすること。
• ハイパーディメンショナル空間における準直交整列を用いてプロトタイプ表現の質を向上させること。
• 3つの異なるモードで、精度と計算コストのバランスを取れる柔軟な更新メカニズムを提供すること。

提案手法

• メタ学習済み CNN 特徴抽出器を固定し、訓練可能な固定サイズの全結合層と分離するアーキテクチャを採用し、クラスプロトタイプを再書き込み可能なメモリに格納する。
• ハイパーディメンショナルコンピューティングを用いて、クラスを高次元ベクトルとして表現し、測度集中の効果により指数的容量と最小限の干渉を実現する。
• 3つの更新モードを導入する：モード1 は勾配更新なしの単純なプロトタイプ平均化；モード2 はバイポーラライズドプロトタイプを用いた限定的再訓練；モード3 は再訓練の前にプロトタイプを準直交性に近づけるための新しい損失関数を用いる。
• メタ学習中にソフト絶対値アテンション機構を適用し、特徴表現の質とクラス間分離性を向上させる。
• 角度損失関数と再構成損失関数の組み合わせを用いて、クラス間の干渉を最小限に抑えるためにプロトタイプの準直交化を実施する。
• モード2では、再訓練に効率的な計算コストを実現するため、グローバル平均活性化（GAA）メモリを用いて活性化パターンを格納する。

実験結果

リサーチクエスチョン

• RQ1 厳密なメモリおよび計算コスト制約下で、数千クラスにスケーリング可能な少数ショットクラスインクリメンタル学習システムは、高い精度を維持できるか？
• RQ2 少数のサンプルでの継続的学習において、ハイパーディメンショナルコンピューティングは、クラスプロトタイプ間の干渉を最小限に抑えるのにどの程度有効か？
• RQ3 制約付き FSCIL 環境下で、異なるプロトタイプ更新戦略を用いる際の、精度と計算コストのトレードオフは何か？
• RQ4 敵対的訓練なしで、準直交プロトタイプ整列を用いることで、一般化性能と耐性が顕著に向上するか？
• RQ5 FSCIL において、モデル圧縮と低精度表現をどの程度適用できるか、性能の劣化を伴わずに？

主な発見

• C-FSCIL は、1,200 個のベースクラスに加えて 423 個の新規クラスを学習する際、CIFAR100、mini-ImageNet、Omniglotのすべてのベンチマークで、1.6%の精度低下で最先端の精度を達成した。
• 最も単純なモード1（再訓練なしのプロトタイプ平均化）ですら、CIFAR100 および mini-ImageNet ですべての先行手法を上回り、準直交プロトタイプの有効性を示している。
• 新しい損失関数を用いてプロトタイプをナUDGEするモード3は、大規模 FSCIL 問題において、ベースラインを最大4%上回る精度を達成した。
• Omniglot では、モード3の C-FSCIL は 10 セッション後、85.70% の精度を達成し、ProtoNet や CEC をそれぞれ少なくとも 8.30% および 16.99% 上回った。
• 埋め込み次元を d = 64（クラス数未満）に低下させても、精度の低下はわずかであり、依然としてすべてのベースラインを上回った。
• ソフト絶対値アテンション関数は、標準の指数関数的アテンションと比較して、特に新規クラス学習時において性能を向上させた。