[論文レビュー] Continual Unsupervised Representation Learning

Dushyant Rao, Francesco Visin+4 more|arXiv (Cornell University)|Oct 31, 2019

Domain Adaptation and Few-Shot Learning被引用数 86

ひとこと要約

CURLは、継続学習設定においてタスクを推定し、能力を動的に拡張し、混合生成リプレイを用いて忘却に対処することで、タスク非依存の無監督表現を学習する。MNISTとOmniglotで競合的な結果を示した。

ABSTRACT

Continual learning aims to improve the ability of modern learning systems to deal with non-stationary distributions, typically by attempting to learn a series of tasks sequentially. Prior art in the field has largely considered supervised or reinforcement learning tasks, and often assumes full knowledge of task labels and boundaries. In this work, we propose an approach (CURL) to tackle a more general problem that we will refer to as unsupervised continual learning. The focus is on learning representations without any knowledge about task identity, and we explore scenarios when there are abrupt changes between tasks, smooth transitions from one task to another, or even when the data is shuffled. The proposed approach performs task inference directly within the model, is able to dynamically expand to capture new concepts over its lifetime, and incorporates additional rehearsal-based techniques to deal with catastrophic forgetting. We demonstrate the efficacy of CURL in an unsupervised learning setting with MNIST and Omniglot, where the lack of labels ensures no information is leaked about the task. Further, we demonstrate strong performance compared to prior art in an i.i.d setting, or when adapting the technique to supervised tasks such as incremental class learning.

研究の動機と目的

• タスクラベルと境界が未知の無監督継続学習に取り組む。
• 監視なしでネットワーク内のタスクを推定するモデルを開発する。
• 生涯を通じて新しい概念を捉えるために動的な容量拡張を可能にする。
• 混合モデルに適した生成リプレイを通じて破壊的忘却を緩和する。

提案手法

• 推定されたタスク y に条件づけられた混合ガウス潜在空間を持つ変分モデル CURL を提案する。
• タスクを推定するために q(y|x) を、潜在表現のために q(z|x,y) を用い、生成成分として p(z|y) と p(x|z) を用いる。
• y と z を周辺化するエビデンス下界 (ELBO) によって訓練し、成分ごとの再構成とKL正則化項を含む。
• 十分にモデリングされていないサンプルのバッファが閾値に達したときに新しい成分で混合を動的に拡張し、最も関連のある既存成分から初期化する。
• 自己整合的な成分事前分布を用いて、モデルのスナップショットから生成されたデータと実データを交互に用いる混合生成リプレイ (MGR) を適用して忘却を緩和する。
• ラベルが利用可能になる状況を想定して、監督付き損失を組み込むこともでき、q(y|x) を観測された y へ誘導する。）

実験結果

リサーチクエスチョン

• RQ1 タスクラベルや境界がなくても、無監督継続学習はタスク構造を推測できるか。
• RQ2 動的拡張は生涯を通じて新しい概念の容量を効果的に割り当てるか。
• RQ3 混合生成リプレイは無監督継続設定における壊滅的忘却を緩和できるか。
• RQ4 標準ベンチマークで、i.i.d.および監督付き適応において、CURLは従来手法とどれほど競合的か。

主な発見

• CURL は順次的で無監督な設定において、忘却なしに意味のあるクラス識別潜在表現を達成する。
• 動的拡張とMGRは、ベースラインと比較してクラスタ精度を大幅に向上させ、忘却を減少させる。
• アブレーションでは、容量拡張とMGRを併用すると性能が向上し、拡張なしでは性能が著しく低下する。
• CURL は i.i.d.設定で訓練された場合にも最新手法と競合し、監督付きの増分タスク（splitMNIST）にもよく適応する。
• 連続的なドリフトシナリオでは、CURL は堅牢な性能を維持し、混合成分が緩やかな分布変化に滑らかに適応する。