[論文レビュー] General Incremental Learning with Domain-aware Categorical Representations

Jiangwei Xie, Shipeng Yan+1 more|arXiv (Cornell University)|Apr 8, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、ドメインに配慮したクラス表現と二段階のバランスの取れたメモリを用いた、インタラクティブで一般化されたインクリメンタル学習フレームワークを提案する。このフレームワークは、クラス間およびクラス内での安定性・柔軟性のジレンマとドメインの不均衡を同時に解決する。von Mises-Fisher混合モデルを用いてドメインに配慮したクラス表現を構築し、二段階のバランスの取れたメモリを採用することで、iDigits、iDomainNet、iCIFAR-20ベンチマークで最先端の性能を達成。特に困難な設定では平均精度が最大+16.36%向上した。

ABSTRACT

Continual learning is an important problem for achieving human-level intelligence in real-world applications as an agent must continuously accumulate knowledge in response to streaming data/tasks. In this work, we consider a general and yet under-explored incremental learning problem in which both the class distribution and class-specific domain distribution change over time. In addition to the typical challenges in class incremental learning, this setting also faces the intra-class stability-plasticity dilemma and intra-class domain imbalance problems. To address above issues, we develop a novel domain-aware continual learning method based on the EM framework. Specifically, we introduce a flexible class representation based on the von Mises-Fisher mixture model to capture the intra-class structure, using an expansion-and-reduction strategy to dynamically increase the number of components according to the class complexity. Moreover, we design a bi-level balanced memory to cope with data imbalances within and across classes, which combines with a distillation loss to achieve better inter- and intra-class stability-plasticity trade-off. We conduct exhaustive experiments on three benchmarks: iDigits, iDomainNet and iCIFAR-20. The results show that our approach consistently outperforms previous methods by a significant margin, demonstrating its superiority.

研究の動機と目的

• 時間の経過に伴いクラスおよびクラス内ドメイン分布が変化する一般化インクリメンタル学習問題に対処すること。
• 既に学習済みのクラスの新しいドメインに適応しながら過去の知識を忘れない、クラス内安定性・柔軟性ジレンマを克服すること。
• 限られたメモリと偏ったデータサンプリングの影響で新しいドメインが優勢になる、クラス内ドメインの不均衡を軽減すること。
• 複数のドメインにまたがる複雑なクラス内構造を捉える、柔軟で動的なクラス表現の開発。
• 蒸留とメモリバランスを統合した共同学習フレームワークにより、クラス間およびクラス内の安定性・柔軟性のトレードオフを統一すること。

提案手法

• クラス特徴を表すためにvon Mises-Fisher（vMF）混合モデルを用い、複数ドメインにまたがるクラス内データのドメインに配慮したクラスタリングを可能にする。
• 拡張・縮小戦略を採用：新しいドメインが出現した際に混合成分を動的に増加させ、その後階層的クラスタリングにより成分数を削減することで、コンactな表現を維持する。
• 期待値最大化（EM）アルゴリズムを用い、バックボーンネットワークとvMF混合成分を同時に最適化。成分の割り当てを潜在変数として扱う。
• クラス間およびクラス内にバランスの取れたデータを確保する二段階のメモリサンプリング戦略を導入。これにより、新しいドメインや新しいクラスに偏ったバイアスを低減。
• インクリメンタル更新中に深刻な忘却を防ぐために、クラス間およびクラス内の両方の知識蒸留損失を組み込む。
• 各セッションで反復的なモデル更新を実行：過去のモデルを継承し、新しい成分を割り当て、EMによる更新を実施。その後、クラスタリングにより成分数を削減。

実験結果

リサーチクエスチョン

• RQ1 柔軟でドメインに配慮したクラス表現は、複数ドメインにまたがるクラス内データ分布の変化を効果的にモデル化できるか？
• RQ2 ドメインラベルが不明で、時間の経過とともに新しいドメインが出現する状況下で、クラス内安定性・柔軟性のトレードオフをどのように改善できるか？
• RQ3 一般化インクリメンタル学習において、クラス内およびクラス間のデータ不均衡を二段階メモリ戦略がどの程度軽減できるか？
• RQ4 EMベースの学習と蒸留を統合したドメインに配慮した表現が、多様なベンチマークで一貫した性能向上をもたらすか？
• RQ5 ハイパーパrameterの選択、特に混合成分の削減におけるしきい値やメモリサイズの変化に対して、この手法はどの程度頑健か？

主な発見

• DERと統合した場合、iCIFAR-20-NCDスプリットで平均インクリメンタル精度が+16.36%向上し、60.04%から76.40%に上昇した。
• iCIFAR-20-NDスプリットでは、ドメインシフトのボトルネックを解消することで、DERの性能を78.24%から84.11%に向上させた。
• UCIRに本手法を組み合わせた場合、iDigits-NCDスプリットで90.42%の精度を達成し、すべてのベースラインを上回った。
• 除去実験では、二段階メモリサンプリング戦略を追加することで、NDスプリットで0.89%向上、NDスプリットで2.07%向上した。
• t-SNE可視化により、本手法は複数のセッションにわたり、高純度なドメイン固有のクラスタにインスタンスを明確に分離できていることが確認された。
• 感度解析により、特に混合成分削減におけるしきい値に対して、本手法はハイパーパrameterの変動に頑健であることが示された。