[論文レビュー] A Unifying Bayesian View of Continual Learning

Sebastian Farquhar, Yarin Gal|arXiv (Cornell University)|Feb 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 48

ひとこと要約

この論文は、事前焦点アプローチと尤度焦点アプローチを組み合わせた、 continual learningの統一的ベイズ框架を提示し、Variational Generative Replay (VGR) を導入し、尤度焦点の方法が事前焦点よりも優れている一方で不確実性の較正が向上することを示しています。

ABSTRACT

Some machine learning applications require continual learning - where data comes in a sequence of datasets, each is used for training and then permanently discarded. From a Bayesian perspective, continual learning seems straightforward: Given the model posterior one would simply use this as the prior for the next task. However, exact posterior evaluation is intractable with many models, especially with Bayesian neural networks (BNNs). Instead, posterior approximations are often sought. Unfortunately, when posterior approximations are used, prior-focused approaches do not succeed in evaluations designed to capture properties of realistic continual learning use cases. As an alternative to prior-focused methods, we introduce a new approximate Bayesian derivation of the continual learning loss. Our loss does not rely on the posterior from earlier tasks, and instead adapts the model itself by changing the likelihood term. We call these approaches likelihood-focused. We then combine prior- and likelihood-focused methods into one objective, tying the two views together under a single unifying framework of approximate Bayesian continual learning.

研究の動機と目的

• 厳密なデータ保持/リアルタイム制約の下で continual learning を動機づける。
• ベイズ的フレームワーク内で continual learning を位置づけ、事前焦点の方法の限界を特定する。
• 事前と尤度の成分を混合する統一的ロスを提案する。
• Variational Generative Replay (VGR) を尤度焦点の方法として導入する。
• 標準ベンチマークを横断して、事前・尤度・ハイブリッドアプローチを実証的に比較する。

提案手法

• 変分ベイズ設定内で、prior-focused, likelihood-focused, および hybrid continual learning losses を定義する。
• 複数タスクに対するELBOベースのロスを導出し、古いデータの対数尤度を生成モデルを介して推定する方法を示す。
• 各タスクごとに p_t(x,y) をモデル化する GAN を訓練し、保存されたジェネレータを用いて疑似再演データを形成することで Variational Generative Replay (VGR) を導入する。
• 各タスクごとに新鮮な prior を用いた generative likelihood term を組み合わせた hybrid ロス L^t_Hybrid を形成する。
• 標準ベンチマークに対して VGR, VCL (coresets 有無), および coresets のみを用いた baselines を比較する。

実験結果

リサーチクエスチョン

• RQ1 事前後方ポピュレーション q_{t-1}(ω) に依存するだけで continual learning が適切に支えられるのか、それともリハーサルを伴う尤度ベースのアプローチが優れているのか？
• RQ2 事前・尤度焦点のアイデアを統合した統一的なベイズ目的関数は、 continual learning における性能と不確実性の較正を改善できるのか？
• RQ3 生成的リプレイ (VGR) は古いタスクの尤度を近似し、性能を向上させる役割をどの程度果たすのか？
• RQ4 ハイブリッド法の性能にコレストの寄与はどの程度か、また尤度焦点の成分だけで結果を説明できるのか？

主な発見

• 尤度焦点の方法（例：VGR）は、単一の Split MNIST のようなマルチタスクでない設定で事前焦点の方法を上回ることがある。
• コレストはハイブリッドアプローチの性能に大きく寄与し、尤度成分の寄与を分離して測定できる。
• VGR は、事前焦点のポストeriオルよりデータが見られたかどうかの不確実性の较正がより良い。
• ハイブリッドアプローチの性能は、主に prior に基づく正則化より生成的リプレイ成分に左右される。
• 簡単なベンチマーク（Permuted MNIST, multi-headed Split MNIST）では全ての手法が良好に動作するが、難易度の高い設定（single-headed Split MNIST）では差が現れる。