[論文レビュー] Learnable Expansion-and-Compression Network for Few-shot Class-Incremental Learning

Boyu Yang, Mingbao Lin+5 more|arXiv (Cornell University)|Apr 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 4

ひとこと要約

本論文では、少ない例での新しいクラスの学習における災難的忘却と過学習の両方を軽減するための包括的フレームワークである、学習可能な拡張・圧縮ネットワーク（LEC-Net）を提案する。LEC-Netは、モデル正則化を通じて災難的忘却を緩和するための動的ネットワークノード拡張と、コンパクトな表現による過学習の低減のための圧縮を組み合わせる。LEC-Netは最先端の性能を達成し、CUBおよびCIFAR-100でベースライン比5–7%、SOTA比5–6%の精度向上を達成した。

ABSTRACT

Few-shot class-incremental learning (FSCIL), which targets at continuously expanding model's representation capacity under few supervisions, is an important yet challenging problem. On the one hand, when fitting new tasks (novel classes), features trained on old tasks (old classes) could significantly drift, causing catastrophic forgetting. On the other hand, training the large amount of model parameters with few-shot novel-class examples leads to model over-fitting. In this paper, we propose a learnable expansion-and-compression network (LEC-Net), with the aim to simultaneously solve catastrophic forgetting and model over-fitting problems in a unified framework. By tentatively expanding network nodes, LEC-Net enlarges the representation capacity of features, alleviating feature drift of old network from the perspective of model regularization. By compressing the expanded network nodes, LEC-Net purses minimal increase of model parameters, alleviating over-fitting of the expanded network from a perspective of compact representation. Experiments on the CUB/CIFAR-100 datasets show that LEC-Net improves the baseline by 5~7% while outperforms the state-of-the-art by 5~6%. LEC-Net also demonstrates the potential to be a general incremental learning approach with dynamic model expansion capability.

研究の動機と目的

• 少数の例での新しいクラスの学習において、古いクラスの学習済み表現が不安定化するリスクがある、災難的忘却とモデルの過学習という二重の課題に対処すること。
• 古いクラスの特徴のずれと、少サンプルデータからの過学習を同時に軽減する包括的フレームワークの開発。
• 固定アーキテクチャやメモリバッファに依存せずに、継続的学習中に動的かつ適応的にモデルの拡張と圧縮が可能な仕組みの実現。
• FSCILにとどまらず、一般の増分学習タスクへの一般化可能性を実証すること。

提案手法

• 訓練中にノードの拡張によってネットワーク容量の一時的増加を実現し、表現能力の向上を図る、学習可能な拡張・圧縮メカニズムの導入。
• ノード出力の非線形活性化を用いてインジケーターベクトルを計算する自己活性化モジュールを導入し、非活性ノードの自動 pruning を可能にする。
• インジケーターベクトルを用いて、微分可能かつエンドツーエンドで学習可能な方法で拡張されたノードを圧縮し、パラメータ増加を最小限に抑え、コンパクトな特徴学習を実現する。
• 拡張・圧縮モジュールを、ResNet-18などの深層ニューラルネットワークにプラグインモジュールとして統合し、増分的適応を可能にする。
• 古いクラスの表現を安定化させるために、特徴正則化を施した標準的な交差エントロピー損失を用いてネットワークを訓練する。
• 増分学習の各セッションにおいて、新しいクラスを学習する前にネットワーク幅を拡張し、学習後に圧縮することで、効率を維持する動的調整を実施する。

実験結果

リサーチクエスチョン

• RQ1 動的で学習可能なネットワーク拡張は、少サンプルのクラス増分学習における表現能力の向上と特徴のずれ低減に寄与するか？
• RQ2 自己活性化圧縮メカニズムは、少サンプル例で学習されたネットワークの過学習を効果的に低減できるか？
• RQ3 提案されたLEC-Netフレームワークは、増分学習セッション全体にわたり、精度と安定性の面で既存のSOTA手法を上回るか？
• RQ4 LEC-Netは、少サンプル設定にとどまらず、一般のクラス増分学習タスクにも一般化可能か？

主な発見

• CUB200では、LEC-Netが平均31.96%の精度を達成し、以前のSOTA（TOPIC）を5.68%、NCMを12.09%上回った。
• CIFAR-100では、LEC-Netが平均34.73%の精度を達成し、NCMを21.19%、TOPICを5.36%上回った。
• CIFAR-100では初期のセッションで拡張による過学習の影響で一時的な性能低下が見られたが、効果的な圧縮により後続のセッションで回復し、性能が向上した。
• Seq-MNISTにおける一般増分学習では、LEC-Netが19.90%の精度を達成し、LwF（19.62%）とDER（19.61%）をそれぞれ0.28%、0.29%上回った。
• アブレーションスタディの結果、拡張と圧縮の両方のコンponentが不可欠であることが確認され、いずれかのコンponentを除外すると顕著な性能低下が生じた。
• LEC-Netは複数のベンチマークおよび増分学習設定において、実世界の継続的学習シナリオにおける適応性と有効性を確認し、高いロバスト性を示した。