[論文レビュー] Heterogeneous Forgetting Compensation for Class-Incremental Learning

Jiahua Dong, Wenqi Liang+2 more|arXiv (Cornell University)|Aug 7, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本稿では、表現と勾配の両面を同時に最適化することで、異種の忘却を補償する新しいクラスインクリメンタル学習フレームワーク、Heterogeneous Forgetting Compensation (HFC) を提案する。タスク共有表現を学ぶためのタスク・セマンティックアグリゲーションブロックを導入し、プラグアンドプレイ式の損失関数2つ——勾配バランス型忘却補償損失と関係 distillation —— を用いて、古いクラス間での勾配更新をバランスさせる。ViT-Baseを用いたCIFAR-100で79.4%の平均精度を達成し、SOTA性能を実現した。

ABSTRACT

Class-incremental learning (CIL) has achieved remarkable successes in learning new classes consecutively while overcoming catastrophic forgetting on old categories. However, most existing CIL methods unreasonably assume that all old categories have the same forgetting pace, and neglect negative influence of forgetting heterogeneity among different old classes on forgetting compensation. To surmount the above challenges, we develop a novel Heterogeneous Forgetting Compensation (HFC) model, which can resolve heterogeneous forgetting of easy-to-forget and hard-to-forget old categories from both representation and gradient aspects. Specifically, we design a task-semantic aggregation block to alleviate heterogeneous forgetting from representation aspect. It aggregates local category information within each task to learn task-shared global representations. Moreover, we develop two novel plug-and-play losses: a gradient-balanced forgetting compensation loss and a gradient-balanced relation distillation loss to alleviate forgetting from gradient aspect. They consider gradient-balanced compensation to rectify forgetting heterogeneity of old categories and heterogeneous relation consistency. Experiments on several representative datasets illustrate effectiveness of our HFC model. The code is available at https://github.com/JiahuaDong/HFC.

研究の動機と目的

• 既存のクラスインクリメンタル学習（CIL）手法が、古いクラス全体にわたる均一な忘却を仮定しているという限界を是正すること。
• 特に外見が異なるクラス（例：車、バス）と属性が異なるクラス（例：道路、交通標識）といった、異なる古いクラスが、異なる速度で忘却される様子を解明すること。
• 古いカテゴリの間で表現学習と勾配更新のバランスを同時に最適化することで、忘却の不均一性を低減すること。
• アーキテクチャの変更なしに、一般化性能を向上させるためのプラグアンドプレイ型フレームワークを開発すること。

提案手法

• 各タスク内で局所的なカテゴリ特徴を集約することで、グローバルでタスク共有の表現を学ぶタスク・セマンティックアグリゲーション（TSA）ブロックを導入し、表現レベルの忘却の不均一性を低減する。
• 各古いクラスの忘却度合いに応じて勾配更新を動的に調整する勾配バランス型忘却補償（GFC）損失を提案し、異種のクラス間でも最適化がバランスされるようにする。
• 古いカテゴリ間のクラス関係を保持するための勾配バランス型関係 distillation（GRD）損失を設計し、インクリメンタル学習中に学習された特徴関係の一貫性を維持する。
• TSA、GFC、GRDを統合した統一されたHFCフレームワークを構築し、既存のCILバックボーン（例：ViT-Base や ResNet-32）と互換性を持つプラグインモジュールとして動作可能にする。
• 古いクラス間での不均衡な忘却の度合いを定量化・分析するため、分散に基づく忘却不均一性（FH）メトリクスを採用する。
• 知識蒸留、リプレイフリー学習、勾配バランスを統合した統一された学習目的関数を用い、古いクラスの精度を維持しながら忘却を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 一部の古いクラスが他のクラスよりも速く忘却されるという、忘却の不均一性が、既存のクラスインクリメンタル学習モデルの性能にどのように影響を与えるか？
• RQ2 タスク・セマンティックアグリゲーションブロックを用いて、タスク共有のグローバル表現を学習することで、クラスインクリメンタル学習における忘却不均一性を低減できるか？
• RQ3 勾配バランス型補償損失は、忘却傾向が異なる古いクラス間で、不均衡な勾配伝播をどの程度緩和できるか？
• RQ4 表現レベルと勾配レベルの両方の補償を組み合わせることで、忘れやすいクラスと忘れにくいクラスの両方において、一般化性能の向上と忘却の低減が達成できるか？
• RQ5 標準ベンチマークにおいて、提案されたHFCモデルは、平均精度と忘却不均一性の観点から、SOTAのCIL手法と比較してどのように差をつけるか？

主な発見

• HFCは、ViT-Baseを用いたCIFAR-100（5タスク）で79.4%の平均精度を達成し、前回のSOTA手法（FOSTER）を0.6ポイント上回った。
• ベースラインの忘却不均一性（FH）が131.5からHFCでは103.6に低下し、古いクラス間での不均衡な忘却が顕著に軽減されたことが示された。
• アブレーションスタディにより、TSA、GFC、GRDのすべての構成要素が相乗的に寄与しており、HFCの全モデルはベースライン比でFHを21.8%低減した。
• ResNet-32と組み合わせた場合、HFCはベースライン比で平均精度を0.7–0.8ポイント向上させ、AFCの上限ギャップを12.6%改善した。
• タスクごとの性能分析から、HFCは全インクリメンタルタスクにおいて他手法を上回っており、特に忘却が最も深刻になる後段階で顕著な優位性を示した。
• 勾配バランス型損失は、忘れにくいクラスへの過剰補正を効果的に抑制し、忘れやすいクラスへの不足補正を防ぐことができた。これは、FHメトリクスと精度曲線の両方で裏付けられた。