[論文レビュー] A Neural Dirichlet Process Mixture Model for Task-Free Continual Learning

Soochan Lee, Junsoo Ha+2 more|arXiv (Cornell University)|Jan 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 94

ひとこと要約

CN-DPMは、タスク境界なしでの連続学習を可能にするニューラル専門家のディリクレ過程混合を導入します。ベイジアン非パラメトリックな枠組みの下で専門家をオンラインで拡張し、タスク境界を持たない判別・生成タスクの両方を扱います。

ABSTRACT

Despite the growing interest in continual learning, most of its contemporary works have been studied in a rather restricted setting where tasks are clearly distinguishable, and task boundaries are known during training. However, if our goal is to develop an algorithm that learns as humans do, this setting is far from realistic, and it is essential to develop a methodology that works in a task-free manner. Meanwhile, among several branches of continual learning, expansion-based methods have the advantage of eliminating catastrophic forgetting by allocating new resources to learn new data. In this work, we propose an expansion-based approach for task-free continual learning. Our model, named Continual Neural Dirichlet Process Mixture (CN-DPM), consists of a set of neural network experts that are in charge of a subset of the data. CN-DPM expands the number of experts in a principled way under the Bayesian nonparametric framework. With extensive experiments, we show that our model successfully performs task-free continual learning for both discriminative and generative tasks such as image classification and image generation.

研究の動機と目的

• Explicitなタスク境界に依存しない連続学習法の動機付けと開発。
• ベイジアン非パラメトリックに基づく拡張型アプローチによる新データへの適応的なモデルトレーニング容量の拡大。
• CN-DPMフレームワーク内で判別タスクと生成タスクの双方を統一的に Enable。
• 各専門家ごとに生成・識別コンポーネントを分離して壊滅的忘却を防ぐ。
• 標準的なタスクフリーCLベンチマーク（MNIST, SVHN, CIFAR）でベースラインと比較して競争力のある性能を示す。

提案手法

• タスクフリー連続学習を、ニューラル専門家のディリクレ過程混合（DPM）のオンライン変分推論として定式化。
• 各専門家は識別コンポーネント p(y|x; φ^D) と生成コンポーネント p(x; φ^G) の両方を含み、p(x,y|z) を共同でモデル化。
• Sequential Variational Approximation（SVA）を用いて、データ到着時に責任度と専門家パラメータをオンライン更新。
• 既存専門家の責任度が低い場合に新しい専門家を作成することでモデルを拡張し、短期記憶STMバッファで十分なデータを収集して拡張を行う。
• 横方向接続によるパラメータ共有を通じて無限増殖を抑制し正の転移を促進しつつ、新しい専門家の勾配を凍結して事前知識を保持。
• p(x; φ^G) および p(z) に由来するゲーティング機構を組み込み、特定の入力に責任をもつ専門家を推定し、p(y|x) の専門家混合予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 タスクフリー連続学習を、専門家を追加する時期を自動的に決定する拡張ベースのアプローチで実現できるか？
• RQ2 タスクラベルなしで適切な専門家を推定し、壊滅的忘却を回避するゲーティング機構をどのように設計するか？
• RQ3 単一のCN-DPMフレームワーク内で判別タスクと生成タスクの両方をサポートできるか？
• RQ4 ベイジアン非parametric拡張（DPM）は非 iid データストリームを含む複数のベンチマークへスケールできるか？
• RQ5 STM、パラメータ共有、温度スケーリングなど、CN-DPMの性能と安定性を高める実用的戦略は何か？

主な発見

• CN-DPMはSplit-MNIST、MNIST-SVHN、Split-CIFAR10、Split-CIFAR100の各シナリオにおいてタスクフリーCLで競合ベースラインを一貫して上回る。
• タスクごとの分類性能が高いまま、忘却を低く維持する。
• CN-DPMの拡張主導の成長はデータの複雑さに適応し、新しい分布を捉えるために必要に応じて複数の専門家を作成する。
• ゲーティング精度（VAEsを介して）は改善の余地があり、専門家選択の密度推定を改善することで潜在的な向上が見込まれる。
• 横方向接続によるパラメータ共有と新しい専門家の訓練を抑制することでモデルの膨張を抑え、タスク間で正の転移を促進する。
• CN-DPMはリプレイのみの手法が苦戦する大規模なタスク数設定（例：Split-CIFAR100）でも高い性能を示し、リプレイによる過剰適合を回避する。
• 本手法は判別（分類）と生成（生成）タスクの両方に適用でき、CN-DPMフレームワークの汎用性を示す。