[論文レビュー] FeTrIL: Feature Translation for Exemplar-Free Class-Incremental Learning

Grégoire Petit, Adrian Popescu+3 more|arXiv (Cornell University)|Nov 23, 2022

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 12

ひとこと要約

FeTrILは、エクземプラフリーなクラスインクリメンタル学習（EFCIL）のための新規手法を提案する。特徴抽出器を固定し、幾何的特徴変換機構を用いて過去のクラスの疑似特徴を生成することで、従来手法よりも優れた安定性・柔軟性のバランスを達成し、訓練速度も向上させ、TinyImageNet や ImageNet-Subset を含む複数のベンチマークで最先端の性能を発揮する。

ABSTRACT

Exemplar-free class-incremental learning is very challenging due to the negative effect of catastrophic forgetting. A balance between stability and plasticity of the incremental process is needed in order to obtain good accuracy for past as well as new classes. Existing exemplar-free class-incremental methods focus either on successive fine tuning of the model, thus favoring plasticity, or on using a feature extractor fixed after the initial incremental state, thus favoring stability. We introduce a method which combines a fixed feature extractor and a pseudo-features generator to improve the stability-plasticity balance. The generator uses a simple yet effective geometric translation of new class features to create representations of past classes, made of pseudo-features. The translation of features only requires the storage of the centroid representations of past classes to produce their pseudo-features. Actual features of new classes and pseudo-features of past classes are fed into a linear classifier which is trained incrementally to discriminate between all classes. The incremental process is much faster with the proposed method compared to mainstream ones which update the entire deep model. Experiments are performed with three challenging datasets, and different incremental settings. A comparison with ten existing methods shows that our method outperforms the others in most cases.

研究の動機と目的

• 過去のデータを保存せず、メモリ集約的なリプレイを用いないエクземプラフリークラスインクリメンタル学習（EFCIL）における深刻な忘却の問題を解決する。
• 固定された特徴抽出器と疑似特徴生成を組み合わせることで、安定性（過去の知識の保持）と柔軟性（新しいクラスの学習）のバランスを向上させる。
• 深層ネットワークの微調整や知識蒸留に依存する従来のEFCIL手法と比較して、訓練時間とメモリ使用量を削減する。
• ストレージと計算リソースが制限されたデバイスへの実用的導入を可能にするために、保存領域と計算オーバーヘッドを最小限に抑える。

提案手法

• 初期学習後、深層ニューラルネットワークのバックボーンを固定することで、深刻な忘却を防ぎ、安定性を確保する。
• 過去のクラスの疑似特徴を幾何的変換により生成する：新規クラスの特徴を、特徴空間における過去クラスの重心に向かってシフトさせる。
• 疑似特徴生成に、各過去クラスの重心のみを用いる。これにより、メモリ使用量を最小限に抑え（全特徴ではなく重心のみ保存）、ストレージ負荷を軽減する。
• 実際の新規クラス特徴と過去クラスの疑似特徴を用いて、線形分類器を段階的に訓練することで、高速な段階的更新を実現する。
• 単純だが効果的な変換ルールを採用：新規クラス特徴は、目的の過去クラスの重心と新規クラスの重心とのベクトル差分に従って変換される。
• CPU上で高速な段階的訓練が可能で、ImageNet-Subset（T=10）では1時間4分で実行可能。これはV100 GPUを用いたベースライン手法PASS（11時間8分）を著しく上回る。

実験結果

リサーチクエスチョン

• RQ1 エクземプラを保存せずに、オリジナルの例を用いない状態で、幾何的特徴変換機構が過去クラスの意味のある疑似特徴を効果的に生成できるか？
• RQ2 固定された特徴抽出器と疑似特徴生成を組み合わせることで、蒸留ベースや微調整ベースの手法と比較して、EFCILにおける安定性・柔軟性のトレードオフが改善されるか？
• RQ3 提案手法は、両方のクラス（過去と新規）の高精度を維持しつつ、訓練時間とメモリ使用量をどの程度削減できるか？
• RQ4 FeTrILの性能は、多様な段階的学習設定において、最先端のエクземプラフリーおよびエクzemプラベース手法と比較してどの程度優れているか？

主な発見

• FeTrILは、TinyImageNet および ImageNet-Subset において、複数の段階的学習設定で最先端の精度を達成し、10種類の既存EFCIL手法を上回る性能を発揮した。
• ImageNet-Subset（T=10）では、単一CPUスレッドで1時間4分の段階的訓練時間にまで短縮された。これは、V100 GPUを用いたPASSの11時間8分を著しく上回る。
• 安定性・柔軟性のバランスが顕著に向上：FeTrILは、特に後段の段階的状態において、SSREと比較して過去クラスと新規クラスの両方の精度が高く、よりバランスが取れている。
• FeTrILでは、過去クラスと新規クラスの精度差がSSREよりも小さいため、安定性と柔軟性の均衡が良好であると示された。ただし、状態4ではドメインシフトの影響により性能に影響が出た可能性がある。
• 不完全ではあるが、幾何的変換による疑似特徴生成は効果的であり、線形分類器がすべてのクラスに良好に一般化できるようにしている。
• この手法の性能は、エクzemプラベース手法に近く、エクzemプラフリーとエクzemプラベースのEFCIL設定の間のギャップを縮めている。