[論文レビュー] Continual Learning with Fully Probabilistic Models

Benedikt Pfülb, Alexander Gepperth+1 more|arXiv (Cornell University)|Apr 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 4

ひとこと要約

本稿では、ガウス混合モデル（GMM）を生成器および分類器として用いる完全確率的連続的学習手法であるガウス混合リプレイ（GMR）を提案する。GMRは密度推定、クラス条件付きサンプリングを用いて、記憶容量と計算量が少ない状態でMNIST、FashionMNIST、Devanagariベンチマークで最先端の性能を達成するとともに、不正規の入力を検出・分離し、教師なしでタスク境界を検出可能である。

ABSTRACT

We present an approach for continual learning (CL) that is based on fully probabilistic (or generative) models of machine learning. In contrast to, e.g., GANs that are "generative" in the sense that they can generate samples, fully probabilistic models aim at modeling the data distribution directly. Consequently, they provide functionalities that are highly relevant for continual learning, such as density estimation (outlier detection) and sample generation. As a concrete realization of generative continual learning, we propose Gaussian Mixture Replay (GMR). GMR is a pseudo-rehearsal approach using a Gaussian Mixture Model (GMM) instance for both generator and classifier functionalities. Relying on the MNIST, FashionMNIST and Devanagari benchmarks, we first demonstrate unsupervised task boundary detection by GMM density estimation, which we also use to reject untypical generated samples. In addition, we show that GMR is capable of class-conditional sampling in the way of a cGAN. Lastly, we verify that GMR, despite its simple structure, achieves state-of-the-art performance on common class-incremental learning problems at very competitive time and memory complexity.

研究の動機と目的

• 密度推定とサンプル生成を可能にする完全確率的モデルを用いて、連続的学習における深刻な忘却問題に対処すること。
• 過去のデータを保存せずに、GMMを用いて過去のタスクのサンプルを生成する疑似再現アプローチを開発すること。
• GMMの密度推定を用いて、教師なしでタスク境界を検出可能にすること。
• 最小限のメモリおよび計算コストで高い連続的学習性能を達成すること。
• 過去データへのアクセス不可（「戻らない」）および将来の知識なし（「先読みしない」）といった現実世界の制約を尊重すること。

提案手法

• GMRは、訓練中に過去のタスクの合成サンプルを生成するために、ガウス混合モデル（GMM）を生成器として用いる。
• 同じGMMを用いてサンプル生成と密度推定の両方を実行し、分布外入力の検出およびタスク境界の特定を可能にする。
• 分類器はGMMと同時に学習され、GMMの確率的構造を活用して不確実性を考慮した学習が可能になる。
• GMMにおける共分散行列を対角行列として保持することで、メモリ使用量を低減し、完全な共分散行列を避ける。
• クラス条件付きサンプリングは、クラス固有の成分重みを用いてGMMからサンプリングすることで実現され、cGANに類似した生成が可能になる。
• ハイパーパrameterは1つの値（GMMの成分数K）にまで削減され、将来のデータにアクセスせずに安定的かつスケーラブルな訓練が可能になる。

実験結果

リサーチクエスチョン

• RQ1 GMMのような完全確率的モデルは、過去データの保存を伴わずに疑似再現を通じて連続的学習を効果的にサポートできるか？
• RQ2 GMMの密度推定は、連続的学習環境下でタスク境界を検出し、分布外サンプルを効果的に拒否できるか？
• RQ3 GMRは、最小限のメモリおよび時間的複雑性で、標準ベンチマークで最先端の性能を達成できるか？
• RQ4 GMRは、過去データへのアクセス不可や将来のハイパーパrameterチューニング不可といった現実世界の連続的学習の制約を尊重できるか？
• RQ5 GMMの損失関数の制約下でも、モード崩壊を示さずに高品質なクラス条件付きサンプルを生成できるか？

主な発見

• GMRは、MNIST、FashionMNIST、Devanagariを含むクラスインクリメンタル学習ベンチマークで最先端の性能を達成し、多数の既存手法を上回っている。
• GMM密度推定の顕著な変化を検出することで、教師なしでタスク境界を検出し、自動的にサブタスクに分割可能である。
• GMMの単純な成分重み付けにより、GANSで観察されるようなモード崩壊を示さずに、高品質なクラス条件付きサンプルを信頼性高く生成可能である。
• メモリ使用量は極めて少ない：d=1000、K=100、10クラスの場合、モデルのパラメータ数は201,010にとどまり、DNNベースの生成的再現モデルと比べて顕著に少ない。
• 現実世界の制約を尊重している：停止条件やハイパーパrameterチューニングに過去データへのアクセスを一切不要とし、自由パラメータは1つ（K）のみ必要である。
• 連続的学習において優れた性能を発揮する一方で、非連続的（ベースライン）分類タスクでは性能が劣るため、連続的学習と通常の学習の性能にトレードオフが生じていることが示唆された。