[論文レビュー] Masked Autoencoders are Efficient Class Incremental Learners

Jiang-Tian Zhai, Xialei Liu+3 more|arXiv (Cornell University)|Aug 24, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本論文は、マスクドパッチ再構成を活用してエキジンプラをより効率的に保存し、リプレイ品質を向上させる、クラスインクリメンタルラーニング（CIL）に特化した新規な二重マスクドオートエンコーダー（MAE）フレームワークを提案する。二つの補完的MAEブランチから得られる画像レベルおよび埋め込みレベルの特徴を統合することで、CIFAR-100、ImageNet-Subset、ImageNet-Fullの標準ベンチマークで、忘却の低減と表現安定性の向上を実現し、最先端の性能を達成した。

ABSTRACT

Class Incremental Learning (CIL) aims to sequentially learn new classes while avoiding catastrophic forgetting of previous knowledge. We propose to use Masked Autoencoders (MAEs) as efficient learners for CIL. MAEs were originally designed to learn useful representations through reconstructive unsupervised learning, and they can be easily integrated with a supervised loss for classification. Moreover, MAEs can reliably reconstruct original input images from randomly selected patches, which we use to store exemplars from past tasks more efficiently for CIL. We also propose a bilateral MAE framework to learn from image-level and embedding-level fusion, which produces better-quality reconstructed images and more stable representations. Our experiments confirm that our approach performs better than the state-of-the-art on CIFAR-100, ImageNet-Subset, and ImageNet-Full. The code is available at https://github.com/scok30/MAE-CIL .

研究の動機と目的

• マスクドオートエンコーダー（MAE）の再構成能力を活用して、クラスインクリメンタルラーニング（CIL）における災難的忘却を緩和すること。
• 全画像ではなくランダムな画像パッチのみを保存することで、リハーサルベースCILにおけるエキジンプラの効率を向上させること。
• 画像レベルおよび埋め込みレベルの統合を備えた二重MAEアーキテクチャにより、リプレイデータ品質と表現安定性を向上させること。
• 制限されたメモリ予算下で、標準CILベンチマークで最先端の性能を達成すること。

提案手法

• 過去のタスクの画像からランダムにパッチを抽出し、リプレイバッファに格納することで、最小限のメモリオーバーヘッドでコンパクトなエキジンプラ保存を実現する。
• スパarselyマスクされたランダムパッチから全画像を再構成するマスクドオートエンコーダーを用い、効果的な自己教師付き表現学習を可能にする。
• 主な再構成と高周波成分の学習を目的とした二重の並列ブランチを有する二重MAEフレームワークを設計する。
• 両ブランチの特徴を埋め込みレベルで統合し、より多様で安定した表現を生成することで、一般化性能の向上を図る。
• MAEに教師あり分類ヘッドを統合し、分類精度と再構成忠実度を同時に最適化する。
• トレーニング中にマスクされた入力を適用することで、正則化効果を発揮し、保存されたエキジンプラへの過学習を低減し、モデルのロバスト性を向上させる。

Figure 1: Our proposed bilateral MAE for efficient CIL. The Replay Buffer contains random patches selected from past task images, which is more efficient than storing whole images. Combining these with masked input data from the current task, the MAE simultaneously learns to classify and reconstruct

実験結果

リサーチクエスチョン

• RQ1 マスクドオートエンコーダーは、エキジンプラ保存にパッチベース再構成を活用することで、クラスインクリメンタルラーニングのための効率的学習器として効果的に再利用可能か？
• RQ2 画像レベルおよび埋め込みレベルの統合を備えた二重MAEアーキテクチャは、CILにおける標準MAEと比較して、再構成品質と表現安定性をどのように向上させるか？
• RQ3 同じメモリ制約下で、提案手法は既存の最先端のリハーサルベースCIL手法を上回る性能を示すか？
• RQ4 パッチレベルのエキジンプラを用いることで、メモリ使用量はどの程度削減され、性能は維持または向上するか？
• RQ5 データ分布のシフト下での一般化性能は、特徴空間密度指標でどの程度測定されるか？

主な発見

• 提案された二重MAEフレームワークは、CIFAR-100（10タスク）で平均79.12%の精度を達成し、同じメモリ予算下で前回の最先端手法（CIM）を3.82%上回った。
• 1クラスあたり80個のエキジンプラパッチのみを保存した状態で、CIFAR-100の最終タスクでトップ1精度68.40%を達成し、メモリ効率の高いベースライン（DyTox：62.10%）を顕著に上回った。
• 特徴空間密度指標（π）は、提案手法において顕著に高く、データシフト下でもより一般化可能でロバストな表現を示した。
• 詳細ブランチのおかげで再構成品質が著しく向上し、主ブランチでは捉えきれない高周波成分のテクスチャが再現され、より現実的で多様なリプレイデータが得られた。
• 全タスクにわたり安定した性能を維持し、CIFAR-100における忘却率（F↓ = 12.17）が低く抑えられ、効果的な安定性と柔軟性のトレードオフが実現された。
• アブレーションスタディの結果、性能向上は単にエキジンプラ数の増加によるものではなく、二重統合とパッチベース再構成というアーキテクチャ的革新に起因することが確認された。

Figure 2: Overall framework of our bilateral MAE for CIL. The masked input is passed through two branches with embedding-level fusion for classification and image-level fusion for reconstruction. Full images can be generated from a small sample of input patches and the reconstructed images can be us