[論文レビュー] A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning

Da-Wei Zhou, Qiwei Wang+2 more|arXiv (Cornell University)|May 26, 2022

Domain Adaptation and Few-Shot Learning被引用数 46

ひとこと要約

この論文は、公正なメモリ予算比較によってメモリ効率の高いCIL手法を再評価し、一般化ブロックを共有しながら新たなタスクのための特化ブロックを追加するメモリ効率の拡張可能モデル Memo を提案する。Memo は公正なメモリ予算の下でしばしばベースラインを上回る。

ABSTRACT

Real-world applications require the classification model to adapt to new classes without forgetting old ones. Correspondingly, Class-Incremental Learning (CIL) aims to train a model with limited memory size to meet this requirement. Typical CIL methods tend to save representative exemplars from former classes to resist forgetting, while recent works find that storing models from history can substantially boost the performance. However, the stored models are not counted into the memory budget, which implicitly results in unfair comparisons. We find that when counting the model size into the total budget and comparing methods with aligned memory size, saving models do not consistently work, especially for the case with limited memory budgets. As a result, we need to holistically evaluate different CIL methods at different memory scales and simultaneously consider accuracy and memory size for measurement. On the other hand, we dive deeply into the construction of the memory buffer for memory efficiency. By analyzing the effect of different layers in the network, we find that shallow and deep layers have different characteristics in CIL. Motivated by this, we propose a simple yet effective baseline, denoted as MEMO for Memory-efficient Expandable MOdel. MEMO extends specialized layers based on the shared generalized representations, efficiently extracting diverse representations with modest cost and maintaining representative exemplars. Extensive experiments on benchmark datasets validate MEMO's competitive performance. Code is available at: https://github.com/wangkiw/ICLR23-MEMO

研究の動機と目的

• 公平な評価を促すために、精度とメモリコスト（エ exemplar とモデル）を考慮して CIL 手法を評価する。
• CIL において異なるネットワーク層がどのように寄与するかを分析し、すべての層が継続的学習に等しく有用かを判定する。
• 一般化ブロックを共有し、新しいタスクには特化ブロックを追加するメモリ効率の高いベースライン Memo を提案し、性能とメモリのバランスを取る。
• Memo のメモリを意識した性能向上を標準的な CIL ベンチマーク（CIFAR100, ImageNet100）全体で示す。

提案手法

• エ exemplar ベースとモデルベースの CIL 手法間でメモリ予算を整合させ、公正な比較を可能にすることを提案する。
• 浅い層がより一般的で深い層がよりタスク特異的であることを示す、層ごとの勾配・シフト・表現類似性を分析する。
• 一般化ブロックを共有しつつ、タスク特有のブロックを用いて Memo を導入し、新しいタスクには特化ブロックのみを訓練し、一般化ブロックを再利用する。
• 増分学習のために、特化ブロックと共有された一般化表現を用いる損失形式を導出する（式3）。
• メモリ予算に応じたAUC（性能−メモリ曲線下面積）や APM（モデルサイズあたりの精度）などのメモリ意識型の性能指標を評価する。

実験結果

リサーチクエスチョン

• RQ1 メモリ予算が変動する場合、異なる CIL 手法をどのように公正に比較すべきか？
• RQ2 すべてのネットワーク層が CIL に等しく寄与するのか、それとも一般化層を共有しつつ特化層を追加することでメモリ効率を改善できるのか？
• RQ3 Memo のようなメモリ効率の高いアーキテクチャは、公正なメモリ予算下で、エ exemplar ベースおよびモデルベースのベースラインと比較して競争力のあるまたは優れた性能を達成できるか？
• RQ4 予算を跨いだ CIL の能力を最もよく捉えるメモリ意識型の性能指標は何か？

主な発見

Model	AUC-A	AUC-L	APM-S	APM-E
CIFAR100 - Replay	10.49	8.02	7.68	2.97
CIFAR100 - iCaRL	10.81	8.64	8.32	3.00
CIFAR100 - WA	10.80	8.92	8.57	2.95
CIFAR100 - DER	10.74	8.95	7.05	2.97
CIFAR100 - Memo	10.85	9.03	7.18	3.06
ImageNet100 - Replay	553.6	470.1	0.137	5.2e-2
ImageNet100 - iCaRL	607.1	527.5	0.164	5.4e-2
ImageNet100 - WA	666.0	581.7	0.195	5.8e-2
ImageNet100 - DER	699.0	639.1	0.192	5.8e-2
ImageNet100 - Memo	713.0	654.6	0.196	6.1e-2

• 公正なメモリ予算の比較により、モデルベースの手法は大きな予算で改善を促すが、予算が厳しい場合には一貫して優れているとは限らない。
• Memo は公正な比較の下で複数の予算・データセットで最先端または競争力のある結果をしばしば達成する。
• 浅い（一般化された）層はタスクをまたいでも安定している一方、深い（特化された）層は変化しやすく、 incremental 拡張の恩恵を受ける。
• 一般化ブロックを共有し、タスクごとに特化ブロックを追加することで、一般化容量の節約を追加のエ exemplar で補う形になり、メモリ効率が向上する場合がある。
• メモリ意識型指標（AUC、AUC-L、APM-S、APM-E）は CIFAR100 および ImageNet100 の設定で Memo の利点を示す。