[論文レビュー] Class-Incremental Exemplar Compression for Class-Incremental Learning

Zilin Luo, Yaoyao Liu+2 more|arXiv (Cornell University)|Mar 24, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、クラスインクリメンタル学習（CIL）における「少サンプル」例示の制限を克服するための新規な例示圧縮手法、Class-Incremental Masking（CIM）を提案する。CIMは、クラスアクティベーションマップ（CAMs）を用いて例示画像内の非特徴的（例：背景）ピクセルを適応的にダウンサンプリングすることで、固定メモリ予算内で「多数サンプル」の圧縮例示を実現する。学習可能なマスク生成器を二段階最適化により最適化することで、CIMは最先端の性能を達成し、メモリ使用量を増加させず、ImageNet-1000の10フェーズ設定においてFOSTERより4.8パーセンテージポイントの精度向上を達成した。

ABSTRACT

Exemplar-based class-incremental learning (CIL) finetunes the model with all samples of new classes but few-shot exemplars of old classes in each incremental phase, where the "few-shot" abides by the limited memory budget. In this paper, we break this "few-shot" limit based on a simple yet surprisingly effective idea: compressing exemplars by downsampling non-discriminative pixels and saving "many-shot" compressed exemplars in the memory. Without needing any manual annotation, we achieve this compression by generating 0-1 masks on discriminative pixels from class activation maps (CAM). We propose an adaptive mask generation model called class-incremental masking (CIM) to explicitly resolve two difficulties of using CAM: 1) transforming the heatmaps of CAM to 0-1 masks with an arbitrary threshold leads to a trade-off between the coverage on discriminative pixels and the quantity of exemplars, as the total memory is fixed; and 2) optimal thresholds vary for different object classes, which is particularly obvious in the dynamic environment of CIL. We optimize the CIM model alternatively with the conventional CIL model through a bilevel optimization problem. We conduct extensive experiments on high-resolution CIL benchmarks including Food-101, ImageNet-100, and ImageNet-1000, and show that using the compressed exemplars by CIM can achieve a new state-of-the-art CIL accuracy, e.g., 4.8 percentage points higher than FOSTER on 10-Phase ImageNet-1000. Our code is available at https://github.com/xfflzl/CIM-CIL.

研究の動機と目的

• 制限されたメモリ容量による旧クラスの知識保持の制限を克服する。
• トレーニング中に新クラスサンプルが優位を占めるための新旧クラスデータの不均衡を是正する。
• 特徴的領域を保持しながら例示数を増やす、メモリ効率的で適応的な圧縮手法を開発する。
• 手動アノテーションに依存しないように、モデルの注目（CAMs）を用いて自動的に特徴的ピクセルマスクを生成する。
• 最適な圧縮がクラスやフェーズごとに変化する動的CIL設定において、マスク生成を最適化する。

提案手法

• 本手法は、例示画像内の特徴的ピクセルを特定するためクラスアクティベーションマップ（CAMs）を用い、ハードスレッショルドによる0-1マスクを初期生成する。
• 標準CAMの固定スレッショルドの制限を克服するため、フェーズおよびクラス固有のマスクを適応的に生成する学習可能なマスク生成モデル、すなわちClass-Incremental Masking（CIM）を導入する。
• CIMは、CILモデルが非圧縮の新データ上で得た検証損失を逆伝播することで最適化されるグローバルな二段階最適化問題（BOP）により最適化される。
• 圧縮された例示は、非特徴的ピクセル（マスク内の0）のみをダウンサンプリングすることで生成され、特徴的領域の解像度は保持される。
• 本手法はプラグアンドプレイであり、LUCIR や FOSTER などの既存のCILフレームワークと互換性があり、アーキテクチャの変更なしに統合可能である。
• マスク生成は微分可能であり、CILモデルと交互に最適化されることで、例示の品質とモデル性能の整合性が保証される。

実験結果

リサーチクエスチョン

• RQ1 特徴的領域を保持しながら例示数を増やす例示圧縮が、厳密なメモリ制約下でCIL性能を向上させ得るか？
• RQ2 異なるクラスや段階においてマスク生成を適応的にすることで、CAMベースの圧縮における不適切なスレッショルドの問題を回避できるか？
• RQ3 二段階学習によるマスク生成器のエンドツーエンド最適化は、固定またはヒューリスティックスレッショルドに比べ、より優れた例示の代表性をもたらすか？
• RQ4 非一様な圧縮（例：CIM）は、一様圧縮（例：JPEG）や固定例示蒸留と比較して、精度とメモリ効率の面で優れているか？
• RQ5 小サイズの物体は、背景比が高いことから、この圧縮戦略によってどれほど恩恵を受けるか？

主な発見

• CIMは10フェーズのImageNet-1000で68.03%の新記録精度を達成し、FOSTERより4.8パーセンテージポイントの向上を示した。
• ImageNet-100では10フェーズ設定で74.05%の精度を達成し、ベースラインのLUCIRより2.83パーセンテージポイントの向上を示した。
• 小サイズ物体では、背景比が高いことから背景のダウンサンプリングが有効に働き、精度が3.87パーセンテージポイント向上した。
• 小サイズ物体カテゴリでは、1クラスあたり平均39.40例の例示が保存可能であり、これはベースラインの20例を大幅に上回り、メモリ予算の増加なしに実現された。
• アブレーションスタディでは、CIMからの適応的マスクが、単純なCAM、ランダム領域、中央クロップベースラインを上回ることを示し、注目誘導圧縮の有効性を裏付けた。
• 特徴的領域に弱いダウンサンプリング（η′=2.0）を適用しても、完全な手法と同等の性能を達成するが、計算コストが増加するため、完全な圧縮がより効率的であることが示された。