[論文レビュー] Learning Adaptive Embedding Considering Incremental Class

Yang Yang, Zhenqiang Sun+4 more|arXiv (Cornell University)|Aug 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 9

ひとこと要約

本論文は、分離されたプロトタイプベース損失と学習可能なカリキュラムクラスタリング演算子を用いて、新規クラス検出と深刻な忘却の両方を同時に解決する、CILFと呼ばれる新しいクラスインクリメンタル学習フレームワークを提案する。この手法により、複数の未知クラスの正確な検出と、最小限の忘却を伴う効果的なモデル更新が可能となり、ストリーミング分類ベンチマークにおいて既存手法を上回る性能を発揮する。

ABSTRACT

Class-Incremental Learning (CIL) aims to train a reliable model with the streaming data, which emerges unknown classes sequentially. Different from traditional closed set learning, CIL has two main challenges: 1) Novel class detection. The initial training data only contains incomplete classes, and streaming test data will accept unknown classes. Therefore, the model needs to not only accurately classify known classes, but also effectively detect unknown classes; 2) Model expansion. After the novel classes are detected, the model needs to be updated without re-training using entire previous data. However, traditional CIL methods have not fully considered these two challenges, first, they are always restricted to single novel class detection each phase and embedding confusion caused by unknown classes. Besides, they also ignore the catastrophic forgetting of known categories in model update. To this end, we propose a Class-Incremental Learning without Forgetting (CILF) framework, which aims to learn adaptive embedding for processing novel class detection and model update in a unified framework. In detail, CILF designs to regularize classification with decoupled prototype based loss, which can improve the intra-class and inter-class structure significantly, and acquire a compact embedding representation for novel class detection in result. Then, CILF employs a learnable curriculum clustering operator to estimate the number of semantic clusters via fine-tuning the learned network, in which curriculum operator can adaptively learn the embedding in self-taught form. Therefore, CILF can detect multiple novel classes and mitigate the embedding confusion problem. Last, with the labeled streaming test data, CILF can update the network with robust regularization to mitigate the catastrophic forgetting. Consequently, CILF is able to iteratively perform novel class detection and model update.

研究の動機と目的

• ストリーミングデータを用いたクラスインクリメンタル学習（CIL）における、新規クラス検出と深刻な忘却の二重課題に対処する。
• 単一新規クラス検出を仮定する従来手法の限界を克服し、埋め込みの混同に対して頑健であることを確保する。
• 完全再訓練を必要とせずに反復的な検出とモデル更新を可能にする統合フレームワークを開発する。
• メモリ distillation とプロトタイプ正則化を用いて、インクリメンタルモデル更新中に深刻な忘却を軽減する。
• 事前の意味的情報がなく、学習された埋め込みにのみ依存して複数の新規クラスを検出可能にする。

提案手法

• 新規クラス検出のための埋め込み品質を向上させるために、クラス内凝集性とクラス間分離性を強化する分離されたプロトタイプベース損失を導入する。
• 自己学習的なアプローチでネットワークを微調整することで、セマンティッククラスタ数を適応的に推定する学習可能なカリキュラムクラスタリング演算子を設計する。
• インクリメンタルモデル更新時にメモリ distillation とプロトタイプ正則化を適用し、以前に学習したクラスの知識を保持する。
• テスト時に信頼度ベースの検出と境界損失を用いて、既知クラスと未知クラスを区別する。
• カリキュラムクラスタリング演算子を特徴空間に統合し、埋め込みの混同を低減し、クラスタリング収束を改善する。
• ハイパーパramータ λ₁ と λ₂ を用いて、分類精度、新規クラス検出、忘却軽減のバランスを取る共同最適化目的関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 ストリーミング学習中に事前の意味的情報がなく、複数の新規クラスを効果的に検出できる統合フレームワークは実現可能か？
• RQ2 CILにおけるインクリメンタルモデル更新中に、既知クラスの深刻な忘却はどのように軽減できるか？
• RQ3 カリキュラムクラスタリング演算子は、どれほど埋め込みの混同を低減し、検出性能を向上させるか？
• RQ4 提案された分離されたプロトタイプ損失は、埋め込み空間におけるクラス内構造とクラス間構造をどのように向上させるか？
• RQ5 ラベル付きクエリサイズとハイパーパramータ設定の変更は、検出性能および忘却性能にどのような影響を及えるか？

主な発見

• CILFは、評価されたすべてのベンチマークで最も低い忘却率を達成し、既知クラスの精度がベースライン手法よりも遅く低下した。
• CIFAR-10では、新規クラス検出のAUROC、F1、FPR95指標において、すべてのベースラインを上回った。特に複数新規クラスの状況下で顕著な優位性を示した。
• カリキュラムクラスタリング演算子は、T-SNE可視化における明確なクラス分離によって、埋め込みの混同が顕著に低減されたことが裏付けられた。
• 埋め込みの混同に起因する収束遅延を回避できるため、CILFは競合手法よりも高速な実行時間を達成した。
• ラベル付きクエリサイズの増加に伴い性能が向上したため、正確な教師データが効果的なモデル更新に不可欠であることが確認された。
• ハイパーパramータ感度分析から、λ₁ > 1 の設定で最適な性能が得られ、検出および忘却軽減のための強い正則化が極めて重要であることが示された。