[論文レビュー] On the Soft-Subnetwork for Few-shot Class Incremental Learning

Haeyong Kang, Jaehong Yoon+3 more|arXiv (Cornell University)|Sep 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

本論文は、正則化されたロットリーサンチケット仮説にインspiredされたソフトサブネットワークを活用して、災難的忘却と過学習の両方を同時に軽減する、少数ショットクラスインクリメンタル学習手法であるSoftNetを提案する。適応的で非二値のソフトマスクを訓練することで、主なサブネットワークが過去の知識を保持し、小さなサブネットワークが少数ショットクラスに適応するように設計されている。SoftNetは、miniImageNetおよびCIFAR-100ベンチマークで最先端の性能を達成し、先行手法よりも最大+5.63%の精度向上を達成した。

ABSTRACT

Inspired by Regularized Lottery Ticket Hypothesis (RLTH), which hypothesizes that there exist smooth (non-binary) subnetworks within a dense network that achieve the competitive performance of the dense network, we propose a few-shot class incremental learning (FSCIL) method referred to as \emph{Soft-SubNetworks (SoftNet)}. Our objective is to learn a sequence of sessions incrementally, where each session only includes a few training instances per class while preserving the knowledge of the previously learned ones. SoftNet jointly learns the model weights and adaptive non-binary soft masks at a base training session in which each mask consists of the major and minor subnetwork; the former aims to minimize catastrophic forgetting during training, and the latter aims to avoid overfitting to a few samples in each new training session. We provide comprehensive empirical validations demonstrating that our SoftNet effectively tackles the few-shot incremental learning problem by surpassing the performance of state-of-the-art baselines over benchmark datasets.

研究の動機と目的

• 限られたクラスあたりのトレーニングサンプルがモデルの劣化を悪化させるという状況下で、少数ショットクラスインクリメンタル学習（FSCIL）における災難的忘却と過学習の二重の課題に対処すること。
• 過去に学習したクラスの知識を保持しつつ、わずかな例でのみ新しいクラスを効果的に学習できる手法を開発すること。
• 正則化されたロットリーサンチケット仮説にインspiredされた、マスクベースの新規なパラダイムを導入し、効率的で安定したインクリメンタル学習を可能にすること。
• 知識の保持とインクリメンタル適応を分離する、モデル重みと適応的で非二値のソフトマスクを同時に学習すること。
• 標準ベンチマーク上で実験的に検証を行い、既存の最先端手法よりも優れた性能を示すこと。

提案手法

• ベースセッション中に、可学習なソフトマスク $\bm{m} \in [0,1]^{|m{\theta}|}$ を用いて、密なニューラルネットワークを訓練する。ここで、$m=1$ は上位 $c\%$ のパラメータ（主要サブネットワーク）を表し、$m<1$ は残りのパラメータ（次要サブネットワーク）を表す。
• ベーストレーニング後、主要サブネットワークは凍結され、過去の知識が保持される。一方、次要サブネットワークはインクリメンタルセッション中に更新され、新しいクラスに適応する。
• ソフトマスクはベーストレーニング中にエンドツーエンドで学習され、主要部分が安定性を確保し、次要部分が少数ショットデータへの柔軟な適応を可能にする。
• 本手法は二本のブランチを持つサブネットワーク構造を採用しており、一方は継続的な知識保持を、もう一方はインクリメンタル学習を担当する。両者は同じ初期の密なネットワークから派生する。
• 本手法は二値マスクを避ける代わりに、連続的かつ微分可能なマスクを用いることで、滑らかな勾配更新とより良い一般化を実現する。
• 本手法は、過去のデータにアクセスできない状況下で、クラスインクリメンタル設定に適用される。各セッションでクラスあたりわずかなサンプルしか利用できない。

実験結果

リサーチクエスチョン

• RQ1 適応的で非二値のマスクを持つソフトサブネットワークは、少数ショットクラスインクリメンタル学習における災難的忘却を効果的に防止できるか？
• RQ2 提案手法は、過去に学習したクラスの知識を保持しつつ、同時に少数ショットデータへの過学習を低減できるか？
• RQ3 SoftNetの性能は、さまざまな少数ショットベンチマークおよびハイパーパramータ設定において、最先端手法と比較してどのように異なるか？
• RQ4 主要サブネットワークのパラメータ割合を表す $c\%$ の選択が、インクリメンタルセッション全体におけるモデルの安定性と精度に顕著な影響を与えるか？
• RQ5 正則化されたロットリーサンチケット仮説を、少数ショット継続的学習に拡張することで、安定的で効率的かつ正確なインクリメンタル適応を可能にできるか？

主な発見

• SoftNetは、$c=80\%$ でResNet20を用いた場合、最も強力なベースライン（cRT）に対して+5.63%の精度向上を達成し、miniImageNetで優れた性能を示した。
• $c=97\%$ の場合、SoftNetは最初のセッションで77.17%の精度、第9セッションで50.24%の精度を達成し、強い安定性と最小限の忘却を示した。
• SoftNetは、FSLL、iCaRL、およびRebuffiら（2017）の手法を、miniImageNetで最大+5.39%の精度向上で上回った。これは、より小さいモデル（ResNet18）を用いても同様に成立した。
• 本手法は全セッションにわたり一貫して性能を向上させ、特にResNet20で $c=80\%$ の場合に+5.63%の最大精度向上を記録した。
• SoftNetは $c=90\%$ で、セッション1で77.00%、セッション9で50.39%の精度を達成し、HardNetの変種を含むすべてのベースラインを上回った。
• アブレーションスタディの結果、固定または二値マスク戦略と比較して、適応的で非二値のマスクを用いたソフトマスクが、過学習と忘却を顕著に低減することが確認された。