[論文レビュー] Variational Continual Learning

Cuong V. Nguyen, Yingzhen Li+2 more|arXiv (Cornell University)|Oct 29, 2017

Domain Adaptation and Few-Shot Learning参考文献 8被引用数 295

ひとこと要約

連続学習のための原理的なベイズフレームワークで、オンライン変分推論とエピソディックメモリを組み合わせて、識別モデルと生成モデルの両方における忘却を抑制します。

ABSTRACT

This paper develops variational continual learning (VCL), a simple but general framework for continual learning that fuses online variational inference (VI) and recent advances in Monte Carlo VI for neural networks. The framework can successfully train both deep discriminative models and deep generative models in complex continual learning settings where existing tasks evolve over time and entirely new tasks emerge. Experimental results show that VCL outperforms state-of-the-art continual learning methods on a variety of tasks, avoiding catastrophic forgetting in a fully automatic way.

研究の動機と目的

• 新しいデータで自然に更新され、過去のデータをすべて再参照することなく継続学習のための一般的なオンラインベイズフレームワークを開発する。
• 継続タスク設定におけるニューラルネットワークへオンライン変分推論を拡張する。
• 小さなエピソディックメモリ（コアセット）を組み込み、忘却をさらに減らし過去のタスクからの知識を保持する。
• 自動忘却制御を備えた識別モデルと深層生成モデルの双方における VCL のデモンストレーション。
• 複数のベンチマークで、目的関数のハイパーパラメータ調整を必要とせず、VCL が最先端の継続学習手法を上回ることを示す。

提案手法

• 連続学習を、変分分布 q_t(theta) によって近似される難解な事後分布を用いた逐次ベイズ更新として定式化する。
• KL-発散の射影ステップを定義し、KL(q_t || (1/Z_t) q_{t-1} p(D_t|theta)) を最小化する。
• エピソディックメモリ（コアセット）を導入し、事後分布を non-coreset と coreset の寄与に分解して逐次射影を実行することで記憶をリフレッシュする。
• 共有パラメータとタスク固有のヘッドを持つ深い識別ネットワークに対して、ガウス平均場事後分布とオンライン VI を用いて、変分継続学習を適用する。
• 同じ VI ベースの事後更新を用い、共有成分とタスク固有の成分を扱いながら、変分オートエンコーダーと統合することで深い生成モデルへフレームワークを拡張する。
• 連続する事後間の KL ペナルティ項を含む、オンライン変分自由エネルギーに相当するトレーニング目的を提供する。

実験結果

リサーチクエスチョン

• RQ1 変分継続学習は、広範なハイパーパラメータ調整を必要とせずに忘却を自動的に制御できるか？
• RQ2 共有表現とタスク固有の出力を持つ深層識別モデルの逐次タスクにオンライン VI をどのように適用できるか？
• RQ3 小さなエピソディックメモリを統合することで VCL におけるタスク間の保持が改善されるか？
• RQ4 VCL を VAEs などの深層生成モデルへ効果的に拡張し、タスク間の知識を保持できるか？
• RQ5 標準ベンチマークで既存の継続学習手法と比較して VCL の性能はどうか？

主な発見

• VCL は様々な識別タスクおよび生成タスクで最先端の継続学習手法を上回る。
• ベイズ事後分布フレームワークにより、逐次タスク間で知識を保持し忘却を抑える。
• コアセットエピソディックメモリを組み込むことで追加の利得が得られ、保持がさらに向上する。
• VCL の下で VAEs などの深層生成モデルを継続的に訓練でき、過去のタスクのメモリも競争力を持つ。
• VCL は目的関数のハイパーパラメータフリーで、チューニングされた正則化強度ではなく、変分後生成の更新に依存する。