[論文レビュー] Incremental Classifier Learning with Generative Adversarial Networks

Yue Wu, Yinpeng Chen+6 more|arXiv (Cornell University)|Feb 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 98

ひとこと要約

新しい損失関数（cross-entropy + distillation）、bias removal、および GAN-generated past data を組み合わせた incremental classifier learning フレームワークを提案し、実 past data に依存せず壊滅的忘却を緩和します。CIFAR-100、Flower-102、および MS-Celeb-1M-Base で最先端の結果に対して競争力を示し、プライバシーとスケーラビリティの利点を持つことを示します。

ABSTRACT

In this paper, we address the incremental classifier learning problem, which suffers from catastrophic forgetting. The main reason for catastrophic forgetting is that the past data are not available during learning. Typical approaches keep some exemplars for the past classes and use distillation regularization to retain the classification capability on the past classes and balance the past and new classes. However, there are four main problems with these approaches. First, the loss function is not efficient for classification. Second, there is unbalance problem between the past and new classes. Third, the size of pre-decided exemplars is usually limited and they might not be distinguishable from unseen new classes. Forth, the exemplars may not be allowed to be kept for a long time due to privacy regulations. To address these problems, we propose (a) a new loss function to combine the cross-entropy loss and distillation loss, (b) a simple way to estimate and remove the unbalance between the old and new classes , and (c) using Generative Adversarial Networks (GANs) to generate historical data and select representative exemplars during generation. We believe that the data generated by GANs have much less privacy issues than real images because GANs do not directly copy any real image patches. We evaluate the proposed method on CIFAR-100, Flower-102, and MS-Celeb-1M-Base datasets and extensive experiments demonstrate the effectiveness of our method.

研究の動機と目的

• 過去データが利用できない場合のインクリメンタル分類器学習における壊滅的忘却に対処する。
• old exemplars および新しいデータ上での cross-entropy と distillation 損失を効果的に組み合わせる損失関数を開発する。
• 検証データで推定可能な simple bias removal 機構を用いて古いクラスと新しいクラスのバランスを取る。
• GANs を用いて historical data を生成し、 representative exemplars を選択して real data の代わりに用い、プライバシーを保持する。

提案手法

• incremental learning を、new labeled data X^m を用いて n クラスから n+m クラスへ分類器を拡張することとして定義する。
• L = lambda L_d + (1 - lambda) L_c を提案し、old exemplars と new data の間で distillation 損失と cross-entropy 損失を組み合わせる。
• 新しいクラスの出力をスケールする bias scalar beta を導入し、validation set 上で推定して old/new クラスのバイアスを除去する。
• GAN を訓練して old data をモデル化する： G(z) は old classifier によってラベル付けされた画像を生成し、生成サンプルの max class probability が閾値 theta を上回るものを選択する。
• incremental learning の設定では real exemplars に代えて GAN-generated samples を用い、訓練には同じ損失関数を再利用する。

実験結果

リサーチクエスチョン

• RQ1 combined distillation and cross-entropy loss は古いクラス知識の保持と新しいクラスの学習を改善するか？
• RQ2 単純な bias removal 戦略は incremental learning における old と new クラスのバランスを効果的に取れるか？
• RQ3 GAN-generated past data は実データの exemplar の代替として忘却を緩和し、プライバシー上の利点を提供するか？
• RQ4 exemplar selection、loss balancing、bias パラメータは incremental learning の性能にどのような影響を与えるか？
• RQ5 GAN-generated data を用いた場合と real exemplars の場合のデータセット間での性能ギャップはどの程度か？

主な発見

• 提案された old exemplars と new data を用いた損失関数は CIFAR-100、Flower-102、MS-Celeb-1M-Base で LwF および iCaRL を上回る。
• beta による bias removal は validation および test セットを通じて old/new クラスのバイアスを減らすことで一貫して精度を向上させる。
• GAN-generated past data は competitive な結果を達成し、exemplars を用いない LwF を上回り、適切に調整すれば real-exemplar のパフォーマンスに近づく。
• Ours-Real（real exemplars 使用） は CIFAR-100、Flower-102、MS-Celeb-1M-Base のいずれにおいても iCaRL より gains を示し、batch 設定（P=2,5,10,20）でも堅牢である。
• 極端な batch 設定では real exemplars を用いた incremental learning が batch-train の上限に密接に近づき、提案損失と bias 戦略の有効性を示す。