[論文レビュー] Distillation Techniques for Pseudo-rehearsal Based Incremental Learning

Haseeb Shah, Khurram Javed+1 more|arXiv (Cornell University)|Jul 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 11

ひとこと要約

本稿では、AC-GANの補助分類器を用いてインクリメンタル学習のためのソフトラベルを生成する知識蒸留法であるAC-Distillationを提案する。従来のモデル蒸留に見られるバイアスを是正することで、MNISTおよびCIFAR10における実験で、標準的な蒸留手法よりも低い分散と、古いクラスの知識のより良い保持を達成し、最先端のリハーサルベース手法と同等の性能を発揮するとともに、プライバシーを保護する。

ABSTRACT

The ability to learn from incrementally arriving data is essential for any life-long learning system. However, standard deep neural networks forget the knowledge about the old tasks, a phenomenon called catastrophic forgetting, when trained on incrementally arriving data. We discuss the biases in current Generative Adversarial Networks (GAN) based approaches that learn the classifier by knowledge distillation from previously trained classifiers. These biases cause the trained classifier to perform poorly. We propose an approach to remove these biases by distilling knowledge from the classifier of AC-GAN. Experiments on MNIST and CIFAR10 show that this method is comparable to current state of the art rehearsal based approaches. The code for this paper is available at https://bit.ly/incremental-learning

研究の動機と目的

• 生データを保存せずに生成モデルを用いたリハーサルによって、インクリメンタル学習における深刻な忘却問題を緩和すること。
• GANによって生成されたサンプルを用いた分類器蒸留において生じるバイアスを特定・是正すること。
• 主分類器の代わりにAC-GANの補助分類器を用いてソフトラベルを生成する、新しい蒸留手法を提案すること。
• ベンチマークデータセット上で提案手法の有効性を評価し、既存の蒸留法およびリハーサルベース手法と比較すること。
• AC-Distillationが、最先端の手法と同等の性能を発揮しながらも、データプライバシーを保護するインクリメンタル学習を実現できることを示すこと。

提案手法

• 従来のモデル蒸留（古い分類器がソフトラベルを提供）に代わり、AC-Distillationを採用し、AC-GANの判別器に内蔵された補助分類器を用いてソフトターゲットを生成する。
• 各学習段階において、実際の新規データと、過去のクラスから生成されたGANサンプルを組み合わせたデータセットでモデルを訓練する。
• 生成されたサンプルのソフトラベルは、判別器の補助分類器が出力するクラス確率から得られる。
• 新規分類器は、新規データの真のラベルと、古いクラスのサンプルに対するAC-GANの出力から得られるソフトラベルの両方を用いて訓練される。
• クラス不均衡や忘却に対するロバスト性を評価するために、最近傍クラス平均（NCM）およびエキジンプレルの平均（MoE）ルールを用いる。
• 実験では、AC-GANを用いてデータ生成を行い、同一の設定下でAC-Distillationと標準的なモデル蒸留を比較する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデル蒸留におけるバイアスは、インクリメンタル学習における分類器性能にどのように影響を与えるか？
• RQ2 AC-GANの補助分類器を主分類器の代わりに用いることで、これらのバイアスを低減し、性能を向上させることができるか？
• RQ3 複数の学習段階にわたって、AC-Distillationと標準的なモデル蒸留との間で、正解率、分散、および忘却の観点から性能にどのような差が生じるか？
• RQ4 AC-Distillationは、MNISTのような単純なデータセットに限らず、CIFAR10のような複雑なデータセットに対しても高い性能を発揮するのか、それとも限定的か？
• RQ5 AC-Distillationは、データプライバシーを保護しつつ、最先端のリハーサルベース手法と同等の性能を達成できるか？

主な発見

• MNISTでは、AC-Distillationはモデル蒸留と比較して分散を著しく低減し、正解率を向上させ、特に後続の学習段階で顕著な性能優位性を示した。
• MNISTでは、AC-Distillationは全学習セッションにおいてモデル蒸留を上回り、混同行列から古いクラスの知識のより良い保持が確認された。
• モデル蒸留手法では、特に初期から中盤の段階で、バイアスが生じたソフトラベルの影響により、古いクラスの忘却が顕著に見られた。
• クラス数が増えるにつれて、モデル蒸留とAC-Distillationの性能差が縮小する傾向にあり、これはバイアス効果がより多くのデータで緩和されることを示唆している。
• CIFAR10では、AC-GANがデータセットを適切にモデル化できなかったため、AC-Distillationの性能が低かった。これは、複雑なデータに対してはより高度なGANアーキテクチャの必要性を示している。
• より優れたGANアーキテクチャと組み合わせることで、AC-Distillationは最先端のリハーサルベース手法と同等の性能を達成し、かつプライバシーを保護することができる。