[論文レビュー] Diagnosing Batch Normalization in Class Incremental Learning

Minghao Zhou, Quanziang Wang+3 more|arXiv (Cornell University)|Feb 16, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、クラスインクリメンタルラーニング（Class-IL）における標準的なバッチ正則化（BN）が表現学習を損ない分類器バイアスを引き起こし、結果として深刻な記憶の消失を悪化させることを特定する『BNジレンマ』という重要な問題を特定している。著者らは、純粋な新クラスバッチで学習することで特徴学習を向上させ、バランスの取れたバッチ（旧クラスと新クラスのサンプルが等量）を別途用いてEMA統計を更新することでバイアスを低減する『BNトリック』を提案。この手法により、追加のハイパーパrameterを一切導入せず、ER、DER++、iCaRLの複数のベースラインで顕著な精度向上が達成された。

ABSTRACT

Extensive researches have applied deep neural networks (DNNs) in class incremental learning (Class-IL). As building blocks of DNNs, batch normalization (BN) standardizes intermediate feature maps and has been widely validated to improve training stability and convergence. However, we claim that the direct use of standard BN in Class-IL models is harmful to both the representation learning and the classifier training, thus exacerbating catastrophic forgetting. In this paper we investigate the influence of BN on Class-IL models by illustrating such BN dilemma. We further propose BN Tricks to address the issue by training a better feature extractor while eliminating classification bias. Without inviting extra hyperparameters, we apply BN Tricks to three baseline rehearsal-based methods, ER, DER++ and iCaRL. Through comprehensive experiments conducted on benchmark datasets of Seq-CIFAR-10, Seq-CIFAR-100 and Seq-Tiny-ImageNet, we show that BN Tricks can bring significant performance gains to all adopted baselines, revealing its potential generality along this line of research.

研究の動機と目的

• 標準的なバッチ正則化（BN）がクラスインクリメンタルラーニング（Class-IL）において、記憶の消失に与える悪影響を調査すること。
• BNジレンマ（推論時におけるBN統計のずれにより、新クラスの特徴学習が不十分になり、分類器バイアスが生じる）を特定すること。
• BNトリック——ハイパーパrameterフリーなシンプルな手法——を提案し、レハーサルベースのClass-ILモデルにおける特徴抽出器の品質向上と分類バイアスの排除を図ること。
• BNトリックの有効性と一般化可能性を、複数のベンチマークデータセットとベースライン手法（ER、DER++、iCaRL）を用いて検証すること。

提案手法

• 新クラスのサンプルのみを含むバッチでネットワークを学習させることで、特徴学習を向上させ、新クラスの表現が旧クラスのバッファサンプルに支配されのを防ぐ。
• 旧クラスと新クラスのサンプルが等量となるバランスの取れたバッチを別途用いて、BN層の指数移動平均（EMA）統計を更新することで、分類器バイアスを低減する。
• 更新されたEMA統計を用いて、推論フェーズに忠実に学習済み表現を転送し、分布シフトを最小限に抑える。
• ネットワークアーキテクチャの変更や新たなハイパーパrameterの導入なしに、BNトリックを既存のレハーサルベース手法（ER、DER++、iCaRL）に適用。訓練および統計更新手順を修正する。
• BN統計が更新された後、バッファサンプルのさらなる学習を実施することで、推論条件を模擬し、分類の堅牢性と公平性を確保する。

実験結果

リサーチクエスチョン

• RQ1 標準的なバッチ正則化は、クラスインクリメンタルラーニングにおいて記憶の消失にどのように寄与するか？
• RQ2 BN層におけるEMA統計の使用が、継続的学習の文脈でなぜ分類器バイアスを引き起こすのか？
• RQ3 新クラスの特徴学習の向上とBN統計の別個更新により、BNジレンマを緩和できるか？
• RQ4 BNトリックは、さまざまなレハーサルベースのClass-ILベースラインにおいて、どの程度の性能向上を達成できるか？

主な発見

• Seq-CIFAR-10でERに比べ17%の絶対的精度向上を達成し、バックワード転送（BWT）が46%低減した。これは顕著な性能向上を示している。
• DER++-BNTはBWTを顕著に改善し、過去のタスクの精度を高い水準で維持しており、より優れた安定性と公平性を示している。
• iCaRL-BNTは最終タスクを含め、すべてのタスクでiCaRLを上回る性能を示したが、BWTスコアは低かった。これはBWTが継続的学習モデルの評価において誤解を招く可能性があることを示唆している。
• BNトリックの性能向上効果は、さまざまなバッファサイズにおいて一貫しており、Seq-CIFAR-100-20およびSeq-Tiny-ImageNet-20における20タスクの長いタスクシーケンスでも効果を示した。
• t-SNEの可視化結果から、ER-BNTは標準的なERに比べ、明確なクラス境界を形成し、旧クラスのサンプルが新クラスに誤分類されるのを低減していることが確認された。