[論文レビュー] Continual Normalization: Rethinking Batch Normalization for Online Continual Learning

Quang Pham, Chenghao Liu+1 more|arXiv (Cornell University)|Mar 30, 2022

Domain Adaptation and Few-Shot Learning被引用数 22

ひとこと要約

Continual Normalization (CN) はオンライン継続学習における Batch Normalization (BN) を置換し、ミニバッチと空間正規化のバランスを取り、タスク間の忘却を軽減しつつ知識移 transfer を維持する。

ABSTRACT

Existing continual learning methods use Batch Normalization (BN) to facilitate training and improve generalization across tasks. However, the non-i.i.d and non-stationary nature of continual learning data, especially in the online setting, amplify the discrepancy between training and testing in BN and hinder the performance of older tasks. In this work, we study the cross-task normalization effect of BN in online continual learning where BN normalizes the testing data using moments biased towards the current task, resulting in higher catastrophic forgetting. This limitation motivates us to propose a simple yet effective method that we call Continual Normalization (CN) to facilitate training similar to BN while mitigating its negative effect. Extensive experiments on different continual learning algorithms and online scenarios show that CN is a direct replacement for BN and can provide substantial performance improvements. Our implementation is available at \url{https://github.com/phquang/Continual-Normalization}.

研究の動機と目的

• オンライン継続学習における Batch Normalization のタスク間正規化効果を研究する
• 継続学習のための正規化層の望ましい特性を特定する
• トレーニング促進と忘却低減のバランスを取る Continual Normalization (CN) を提案する
• CN をオンラインプロトコル全体で改善を示すドロップイン BN 置換として実証する

提案手法

• CN はまずアフィラインパラメータなしの Group Normalization (GN) を適用して空間特徴を正規化する
• 次に GN の出力にアフィンパラメータを用いる Batch Normalization (BN) を適用する: a_CN = gamma * BN(a_GN) + beta
• CN は GN で空間情報を取り込み、BN で転移能力を保持し、追加の推論時入力なしで適応的正規化を可能にする
• CN は BN の gamma と beta を超える新しい学習可能パラメータを導入せず、既存のバックボーンと互換性を維持する
• CN はミニバッチ内外の正規化をバランスさせ、タスク間の正規化効果を低減すると主張される
• BN、BRN、IN、GN、SNとオンライン継続学習ベンチマーク全体で比較される

実験結果

リサーチクエスチョン

• RQ1 BN はオンライン CL で前方知識移転を改善するが、タスク間正規化による忘却増大をもたらすのか？
• RQ2 CN はさまざまなオンライン継続学習プロトコルで BN や他の正規化層を上回ることができるか？
• RQ3 CN は最小限のオーバーヘッドで BN の直接的な、テスト時適応代替となるか？
• RQ4 CN はタスク追加型、クラス追加型、タスクフリーのオンライン CL 設定でどう機能するか？

主な発見

• CN は Split CIFAR-100 および Split Mini IMN のオンラインタスク追加実験で、BN、BRN、IN、GN、SN と比較して総合 ACC が一貫して最高を記録した
• CN は FM と LA をバランスさせ、BN よりもいくつかの設定で安定性と転移を改善している
• CN はオンラインのクラス追加設定（DER++）で Split CIFAR-10 および Split Tiny IMN において BN より性能向上を示し、多くの構成で ACC が高く FM が低い
• CN は複数のグループ設定（G=8、G=32）およびメモリサイズで競合的または優れた結果を示し、BN よりも安定した結果を出すことが多い
• 長尾分布のオンライン継続学習ベンチマーク（COCOseq、NUS-WIDEseq）では、CN は BN より一貫した改善を提供し、特に指標全体で忘却を減らす傾向がある