[論文レビュー] Functional Regularisation for Continual Learning with Gaussian Processes

Michalis K. Titsias, Jonathan Schwarz+3 more|arXiv (Cornell University)|Jan 31, 2019

Gaussian Processes and Bayesian Inference参考文献 48被引用数 66

ひとこと要約

本論文は、関数空間での学習を正則化する継続学習フレームワークを提案する。タスク特異的関数上のガウス過程後方分布を誘導点を介して維持・利用することで忘却を防ぐ。

ABSTRACT

We introduce a framework for Continual Learning (CL) based on Bayesian inference over the function space rather than the parameters of a deep neural network. This method, referred to as functional regularisation for Continual Learning, avoids forgetting a previous task by constructing and memorising an approximate posterior belief over the underlying task-specific function. To achieve this we rely on a Gaussian process obtained by treating the weights of the last layer of a neural network as random and Gaussian distributed. Then, the training algorithm sequentially encounters tasks and constructs posterior beliefs over the task-specific functions by using inducing point sparse Gaussian process methods. At each step a new task is first learnt and then a summary is constructed consisting of (i) inducing inputs -- a fixed-size subset of the task inputs selected such that it optimally represents the task -- and (ii) a posterior distribution over the function values at these inputs. This summary then regularises learning of future tasks, through Kullback-Leibler regularisation terms. Our method thus unites approaches focused on (pseudo-)rehearsal with those derived from a sequential Bayesian inference perspective in a principled way, leading to strong results on accepted benchmarks.

研究の動機と目的

• パラメータ空間ではなく関数空間で動作することにより、破局的忘却を避けつつ継続学習を動機づける。
• タスク知識を要約・保存するために、疎なガウス過程を用いたスケーラブルなベイズ法を提案する。
• 誘導点の要約とKL正則化を通じて、リハーサルベースとベイズ的継続学習を統合する。
• タスク境界が未知のままの逐次タスク学習を、タスク変更検出機構を介して実現する。

提案手法

• ニューラルネットワークの最終層をランダムかつガウス的と仮定して、タスク特異的関数上のガウス過程を導出する。
• 誘導点を用いて各タスクの疎な変分ガウス過程近似を取得する。
• 各タスク i の誘導点関数値の変分分布 q(u_i) を維持・最適化する。
• 過去のタスクにまたがって累積する KL(q(u_i) || p_θ(u_i)) 項を用いて、新規タスクの学習を正則化する。
• タスク k を学習するとき、現在タスクの尤度に加え、すべての既往タスクのKL項を含むELBOを最適化する。
• 任意で現在のタスクに対して重み空間推論を行い後方確度を改善し、その後正則化のために誘導点の要約を蒸留する。

実験結果

リサーチクエスチョン

• RQ1 FRCLは標準的な継続学習ベンチマークで最先端の性能を達成しているか？
• RQ2 性能とスケーラビリティにとって誘導点の選択基準はどの程度重要か？
• RQ3 ベイズ的不確実性を用いて自動的にタスク境界を検出できるか？
• RQ4 関数空間正則化は重み空間正則化およびリハーサルベースのアプローチとどのように比較されるか？
• RQ5 タスクごとの誘導点数が精度と忘却に与える影響はどのようか？

主な発見

• FRCLは実験で強力な結果を達成し、Permuted-MNISTおよびOmniglotのベンチマークで新たな最先端を樹立する。
• タスク関数値上の近似後方分布は、単純なリプレイバッファよりも効果的な正則化を提供する。
• 誘導点最適化（特にトレースベースの基準）は、誘導集合サイズが小さくなると著しく性能を改善する。
• FRCLにおける予測は特徴表現の変化に自動的に適応し、以前のタスクの忘却を抑制する。
• 最適化された誘導点はクラス間に分布する傾向があり、多様なタスク表現を支援する。
• リハーサルベースのベースラインも強力な競合だが、FRCLはリプレイバッファを補完する原理的な不確実性を意識した正則化を提供する。