[論文レビュー] Improving and Understanding Variational Continual Learning

Siddharth Swaroop, Cuong V. Nguyen+2 more|arXiv (Cornell University)|May 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 30

ひとこと要約

この論文は、平均場近似を用いた変分ベイジアンニューラルネットワークの見直しにより、Variational Continual Learning (VCL) を改善し、分割MNIST（95.5％の正確性）および入れ替えMNIST（コアセットを用いた94.6％）で最先端の性能を達成した。また、継続的学習における深刻な忘却を緩和するための不確実性推定とパラメータ正則化のメカニズムについての知見を提供した。

ABSTRACT

In the continual learning setting, tasks are encountered sequentially. The goal is to learn whilst i) avoiding catastrophic forgetting, ii) efficiently using model capacity, and iii) employing forward and backward transfer learning. In this paper, we explore how the Variational Continual Learning (VCL) framework achieves these desiderata on two benchmarks in continual learning: split MNIST and permuted MNIST. We first report significantly improved results on what was already a competitive approach. The improvements are achieved by establishing a new best practice approach to mean-field variational Bayesian neural networks. We then look at the solutions in detail. This allows us to obtain an understanding of why VCL performs as it does, and we compare the solution to what an `ideal' continual learning solution might be.

研究の動機と目的

• 標準的な継続的学習ベンチマーク、特に分割MNISTおよび入れ替えMNISTにおけるVariational Continual Learning (VCL) の性能を向上させること。
• VCLが不確実性推定とパラメータ正則化を通じて深刻な忘却を回避するメカニズムを理解すること。
• コアセット（リプレイメモリ）を統合した場合のVCLの性能と一般化能力への影響を評価すること。
• モデル容量の使用状況、前向き／後向き転送、および平均場変分推論の継続的学習における役割を分析すること。
• 平均場変分ベイジアンニューラルネットワークを継続的学習環境で訓練するための新しいベストプラクティスを確立すること。

提案手法

• 各タスクの後、ネットワーク重みの事後分布を平均場変分推論で近似し、不確実性推定を維持する。
• 直前のタスクの事後分布を次のタスクの事前分布として設定することで、ベイジアン正則化による継続的パラメータ更新を実現する。
• 各新しいタスクに対して変分下界（ELBO）を最適化するため、確率的勾配降下法を適用し、近似事後分布を更新する。
• 過去のデータのコアセットを統合することで一般化性能を向上させ、忘却を軽減し、効果的に訓練スケジュールを変更する。
• 画像分類のため、ReLU活性化関数を用いた2層のフィードフォワードニューラルネットワークとソフトマックス出力層を採用する。
• 重みのプロット、アクティブユニット数、および前向き／後向き転送指標を用いて、学習ダイナミクスを評価する。

実験結果

リサーチクエスチョン

• RQ1 改善された平均場変分推論は、分割MNISTおよび入れ替えMNISTにおけるVCLの性能をどのように向上させるか？
• RQ2 VCLはどの程度前向きおよび後向き転送を達成しており、理想的な継続的学習行動と比較してどう異なるか？
• RQ3 コアセットの使用は、VCLにおける忘却と性能にどのような影響を及ぼし、パラメータの不確実性にどのような影響を与えるか？
• RQ4 重みおよびアクティブユニットのダイナミクスから、VCLにおけるモデル容量の使用状況とパラメータ正則化の役割についてどのような知見が得られるか？
• RQ5 なぜ平均場変分推論がVCLでプリーニングに類似した効果を生じるのか、そしてそれが忘却軽減とどのように関連するのか？

主な発見

• 改善されたVCL手法は、10タスクの分割MNISTで最終平均テスト正確性95.5％を達成し、元のVCL（90％）を大きく上回り、新たな最先端性能を樹立した。
• 200個のランダムサンプルからなるコアセットを用いることで、VCLは入れ替えMNISTで94.6％の正確性を達成し、元のVCL（コアセットありで93％）を上回り、同程度の容量を持つEWC や SI よりも優れた性能を示した。
• アクティブユニット数と重みの大きさ分布がタスク全体で安定しており、モデル容量の使用状況が一貫しており、顕著な過学習は見られなかった。
• この手法は深刻な忘却に対して強く耐性があり、新しいタスクを学習した後でも、以前のタスクでの性能低下が最小限に抑えられていた。
• コアセットの使用は、過去のタスクの表現を強化することで忘却を軽減しており、データリプレイが不確実性に基づく正則化を強化していることが示唆された。
• 平均場変分近似は、重要でないパラメータが抑制される自然なプリーニング効果を生じさせ、継続的学習の望ましい特性と整合していた。