[論文レビュー] New Insights for the Stability-Plasticity Dilemma in Online Continual Learning

Dahuin Jung, Dongjin Lee+4 more|arXiv (Cornell University)|Feb 17, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、事前学習されたエンコーダーからのマルチスケール特徴量を活用し、知識を保存するための構造的 distillation 損失と、安定性と可塑性を別々に最適化する安定性・可塑性正規化（SPN）モジュールを組み合わせることで、安定性・可塑性のジレンマを解決する新しいオンライン継続的学習フレームワーク MuFAN を提案する。MuFAN は SVHN、CIFAR100、miniImageNet、CORe50 において最先端性能を達成し、平均精度で既存手法を最大 6.5% まで上回る。

ABSTRACT

The aim of continual learning is to learn new tasks continuously (i.e., plasticity) without forgetting previously learned knowledge from old tasks (i.e., stability). In the scenario of online continual learning, wherein data comes strictly in a streaming manner, the plasticity of online continual learning is more vulnerable than offline continual learning because the training signal that can be obtained from a single data point is limited. To overcome the stability-plasticity dilemma in online continual learning, we propose an online continual learning framework named multi-scale feature adaptation network (MuFAN) that utilizes a richer context encoding extracted from different levels of a pre-trained network. Additionally, we introduce a novel structure-wise distillation loss and replace the commonly used batch normalization layer with a newly proposed stability-plasticity normalization module to train MuFAN that simultaneously maintains high plasticity and stability. MuFAN outperforms other state-of-the-art continual learning methods on the SVHN, CIFAR100, miniImageNet, and CORe50 datasets. Extensive experiments and ablation studies validate the significance and scalability of each proposed component: 1) multi-scale feature maps from a pre-trained encoder, 2) the structure-wise distillation loss, and 3) the stability-plasticity normalization module in MuFAN. Code is publicly available at https://github.com/whitesnowdrop/MuFAN.

研究の動機と目的

• 限られた 1 データポイントの学習信号によるオンライン継続的学習における可塑性の増大と脆弱性を軽減すること。
• ストリーミングデータ環境下で、忘却の防止（安定性）と新しいタスクの学習（可塑性）を同時に向上させること。
• 単一スケール特徴量、ポイントワイズ distillation、または標準正規化層に依存する既存手法の限界を克服すること。
• 多様な継続的学習ベンチマークにスケーラブルに適応できる統合フレームワークを設計すること。
• アブレーションスタディを通じて、マルチスケール特徴量、構造的 distillation、SPN モジュールの個々の貢献を検証すること。

提案手法

• MuFAN は、事前学習されたエンコーダーの浅い層から深い層までのマルチスケール特徴マップを抽出し、下流分類のための文脈的表現を豊かにする。
• 非連続なタスク間の関係を活用して、リプレイバッファ内の複数のタスクから追加の知識保持信号を生成する構造的 distillation 損失を導入する。
• 安定性・可塑性正規化（SPN）モジュールは、可塑性のためのバッチ正規化と、安定性のための空間正規化（IN/LN）を並列に適用し、両方の目的を同時に最適化する。
• これらのコンポーネントをエンドツーエンドの学習パイプラインに統合し、古いデータにアクセスできない状況下でも、順次タスク間で高い性能を維持する。
• 構造的 distillation 損失は、異なるタスクからの特徴マップ間のコントラスト損失として計算され、類似度は arccos を用いて測定する。
• アブレーションスタディにより、マルチスケール特徴量や SPN モジュールの必要性とスケーラビリティが検証される。

実験結果

リサーチクエスチョン

• RQ1 事前学習エンコーダーからのマルチスケール特徴量は、オンライン継続的学習における性能向上にどのように寄与するか？
• RQ2 非連続なタスク間関係を活用する構造的 distillation 損失は、ポイントワイズ distillation よりも災難的忘却をより効果的に低減できるか？
• RQ3 安定性と可塑性を別々に最適化する二重ブランチ正規化モジュールは、標準正規化層を上回る性能を示すか？
• RQ4 構造的 distillation 損失を効果的に活用するためのタスクあたりの最適なサンプル数は何か？
• RQ5 MuFAN は多様な継続的学習ベンチマークにおいて、最先端手法と比較してどのように差をつけるか？

主な発見

• MuFAN は SVHN、CIFAR100、miniImageNet、CORe50 で最先端性能を達成し、CORe50 においては前回の最先端手法を平均精度で最大 6.5% 上回る。
• 構造的 distillation 損失は忘却を顕著に低減し、N ≥ 5 サンプル/タスクで性能が安定化し、N = 10 や 20 でも劣化が観察されない。
• SPN モジュールは、SN や CN を含むすべてのベースライン正規化層を上回り、CORe50 で 52.80% の精度、LA で 61.90% を達成。それぞれ CN を 1.62%、2.62% 上回る。
• アブレーションスタディにより、マルチスケール特徴量、構造的 distillation、SPN の3つのコンポーネントが性能向上に顕著に寄与することが確認され、特に SPN が安定性向上に最も大きな影響を与える。
• SPN モジュールにおいて IN と LN を安定性、BN を可塑性に使用した場合、miniImageNet で 72.7% の LA を達成し、BN+IN や BN+LN よりもそれぞれ 5.3 パcent 点高い。
• フレームワークは優れたスケーラビリティを示しており、ER-Ring などの既存のオンライン CL 手法にマルチスケール特徴量を統合することで、一貫した性能向上が得られる。