[論文レビュー] Autoencoder-Based Incremental Class Learning without Retraining on Old Data

Euntae Choi, Kyungmi Lee+1 more|arXiv (Cornell University)|Jul 18, 2019

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

この論文は、過去のデータの再訓練やエクジンプリルの保存を必要とせず、災難的忘却を回避する自己符号化器ベースの段階的クラス学習手法を提案する。自己符号化器を用いてクラスプロトタイプを学習し、正則化（SI/MAS）を施したメトリック分類を用いることで、CIFAR-100およびCUB-200-2011で最先端の性能を達成する。メモリコストは最小限であり、クラスごとに1つの平均プロトタイプのみを保存する。

ABSTRACT

Incremental class learning, a scenario in continual learning context where classes and their training data are sequentially and disjointedly observed, challenges a problem widely known as catastrophic forgetting. In this work, we propose a novel incremental class learning method that can significantly reduce memory overhead compared to previous approaches. Apart from conventional classification scheme using softmax, our model bases on an autoencoder to extract prototypes for given inputs so that no change in its output unit is required. It stores only the mean of prototypes per class to perform metric-based classification, unlike rehearsal approaches which rely on large memory or generative model. To mitigate catastrophic forgetting, regularization methods are applied on our model when a new task is encountered. We evaluate our method by experimenting on CIFAR-100 and CUB-200-2011 and show that its performance is comparable to the state-of-the-art method with much lower additional memory cost.

研究の動機と目的

• 過去データの再訓練を要せず、段階的クラス学習（ICL）における災難的忘却を解消すること。
• エクジンプリルベースや生成的リプレイ手法が過去データの保存または生成を要するのに対し、メモリコストを低減すること。
• データセットのサイズに依存せず、1クラスあたり1つのクラスプロトタイプ（平均ベクトル）を保存することで、スケーラブルな継続的学習を可能にすること。
• 正則化技術を用いて、新しいクラスの一般化性能を向上させるとともに、以前に学習したクラスの性能を維持すること。
• 自己符号化器で学習したプロトタイプに基づくメトリック分類（コサイン類似度を用いる）が、低いメモリコストで既存手法を上回ることを実証すること。

提案手法

• 入力データのコンactで、意味のあるデータ分布の部分多様体を学習する、圧縮された分離表現を学習するための深層自己符号化器を用いる。
• 各クラスの符号化特徴の平均を計算することでクラスプロトタイプを抽出し、これが唯一のメモリフットプリントとして保存される。
• クラス平均プロトタイプとのコサイン類似度を用いたメトリック分類を実行し、従来のソフトマックス分類に代わる。
• 段階的学習中に災難的忘却を防ぐために、合成的知能（SI）およびメモリに配慮したシナプス（MAS）の正則化損失を適用する。
• 段階的学習中に、曖昧またはノイズの多い例を除去することで、新しいクラスの一般化性能を向上させるための外れ値フィルタリング機構（LOF）を導入する。
• 自己符号化器を最初に固定されたクラス集合に対してエンドツーエンドで訓練し、その後、新しいクラスが到着する段階的ステップで正則化を伴うファインチューニングを行う。

実験結果

リサーチクエスチョン

• RQ1 自己符号化器で学習した特徴に基づくプロトタイプベースのメトリック分類システムは、過去データを保存せずに段階的クラス学習で高い性能を達成できるか？
• RQ2 この手法のメモリ効率は、エクジンプリルベースや生成的リプレイアプローチと比較して、ストレージおよびスケーラビリティの観点でどの程度優れているか？
• RQ3 経験リプレイが存在しない状況で、SI や MAS といった正則化技術が災難的忘却をどの程度緩和できるか？
• RQ4 外れ値フィルタリング（LOF）の導入により、古いクラスの性能を劣化させることなく、新しいクラスの学習能力が向上するか？
• RQ5 CIFAR-100 や CUB-200-2011 といった標準ベンチマークにおいて、iCaRL や FearNet といった最先端手法と比較して、この手法の性能はどの程度か？

主な発見

• CIFAR-100 では、MAS+LOF を用いた本手法が $\Psi_{new}$ = 0.780 を達成し、iCaRL（$\theta_{new}$ = 0.547）および FearNet（$\theta_{new}$ = 0.598）を顕著に上回る新クラスの精度を示した。
• CUB-200-2011 では、MAS+LOF を用いたモデルが $\theta_{new}$ = 0.780 を達成し、新しいクラスへの一般化性能が強く、$\theta_{all}$ = 0.727 を維持した。
• モデルのメモリコストはクラス数に線形に増加する（1クラスあたり1つの平均ベクトル）。これに対して、FearNet は保存されたエクジンプリルに依存するため、クラス数の増加に伴いより多くのメモリを要する。
• 特に長尾分布や大規模 ICL シナリオにおいて、iCaRL や FearNet と同等またはそれ以上の性能を達成しながら、顕著に低いメモリオーバーヘッドを実現した。
• LOF の使用により、ノイズや曖昧な例の影響を低減し、特に MAS と組み合わせた場合に $\theta_{new}$ が向上した。
• 観察したクラス数に関係なく、トレーニング時間および計算コストは一定であり、各段階的ステップで新規クラスのデータのみが使用される。