[論文レビュー] Towards Better Plasticity-Stability Trade-off in Incremental Learning: A Simple Linear Connector

Guoliang Lin, Hanglu Chu+1 more|arXiv (Cornell University)|Oct 15, 2021

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 4

ひとこと要約

本稿では、過去のタスクの安定性を保つためにノルム空間射影ネットワークを、現在のタスクの柔軟性を高めるために標準的なSGDで訓練されたネットワークを組み合わせる単純な線形コネクタを提案する。この方法により、過去のデータを保存せずに、データフリーインクリメンタル学習で最先端の性能を達成した。本手法は、過去データを保存せずに、柔軟性と安定性のトレードオフを改善し、10分割CIFAR-100では79.79%、25分割TinyImageNetでは64.61%の精度を達成し、Adam-NSCLなどの先行手法を上回った。

ABSTRACT

Plasticity-stability dilemma is a main problem for incremental learning, where plasticity is referring to the ability to learn new knowledge, and stability retains the knowledge of previous tasks. Many methods tackle this problem by storing previous samples, while in some applications, training data from previous tasks cannot be legally stored. In this work, we propose to employ mode connectivity in loss landscapes to achieve better plasticity-stability trade-off without any previous samples. We give an analysis of why and how to connect two independently optimized optima of networks, null-space projection for previous tasks and simple SGD for the current task, can attain a meaningful balance between preserving already learned knowledge and granting sufficient flexibility for learning a new task. This analysis of mode connectivity also provides us a new perspective and technology to control the trade-off between plasticity and stability. We evaluate the proposed method on several benchmark datasets. The results indicate our simple method can achieve notable improvement, and perform well on both the past and current tasks. On 10-split-CIFAR-100 task, our method achieves 79.79% accuracy, which is 6.02% higher. Our method also achieves 6.33% higher accuracy on TinyImageNet. Code is available at https://github.com/lingl1024/Connector.

研究の動機と目的

• 過去のデータを保存せずに、インクリメンタル学習における柔軟性と安定性のジレンマを解消すること。
• 過去のタスクの知識保持と新しいタスクの学習能力の両立を図る手法を開発すること。
• 損失関数の多様な最小値の間のモード接続性を活用して、独立して最適化されたネットワークの最小値を接続すること。
• 従来のリハーサルや正則化に基づく手法とは異なり、理論的裏付けがあり、サンプルを必要としない代替手法を提供すること。
• 最小限のアーキテクチャ的・訓練的複雑さで、ベンチマークデータセットにおいて優れた性能を達成すること。

提案手法

• 過去のタスクの知識を保持するために、ノルム空間射影を用いて最初のネットワークを訓練する。
• 現在のタスクに対して標準的なSGDを用いて、柔軟性を最大化するための第二のネットワークを訓練する。
• 2つのネットワークを可学習重みβで平均することで、線形コネクタを構築する。
• 理論的分析により、線形パスがすべてのタスクにおける経験的損失の上界を最小化することが示された。
• 本手法は、過去データを一切保存しないため、データフリーインクリメンタル学習の制約を満たしている。
• 安定性と柔軟性のバランスを取るために、単純な平均化スキームによりコネクタを最適化する。

実験結果

リサーチクエスチョン

• RQ1 2つの独立して訓練されたネットワークの最小値の間の線形パスが、過去データを保存せずに、インクリメンタル学習で高い性能を達成できるか？
• RQ2 損失関数の損失関数の多様な最小値の間のモード接続性を活用することで、柔軟性と安定性のトレードオフをどのように改善できるか？
• RQ3 データフリーインクリメンタル学習において、安定性（知識保持）と柔軟性（新しいタスクの学習）の最適なバランスは何か？
• RQ4 安定性に特化したネットワークと柔軟性に特化したネットワークの単純な平均化が、複雑な正則化やリハーサル手法を上回るか？
• RQ5 提案手法は、深刻な忘却を示さずに、初期のタスクを含むすべてのタスクで高い精度を維持できるか？

主な発見

• 10分割CIFAR-100ベンチマークにおいて、本手法は79.79%の精度を達成し、先行手法よりも6.02%の向上を示した。
• 20分割CIFAR-100では80.80%の精度に達し、Adam-NSCLを4.85%上回った。
• 25分割TinyImageNetでは64.61%の精度を達成し、ベースラインから6.33%の向上を示した。
• 本手法は、柔軟性と安定性のトレードオフをより良く改善しており、BWTが-0.92（Adam-NSCLの-1.6対比）で、イントランスジエンス・メジャーが8.10（対比14.50）であり、優れた柔軟性を示している。
• アブレーションスタディにより、β ≈ 1/tがすべてのデータセットで安定性と柔軟性の最良なバランスを提供することが確認された。
• 2つのネットワーク間の線形パスは滑らかな精度の遷移を示し、急激な低下がなく、コネクタに沿った安定な一般化が確認された。