[論文レビュー] Continual Deep Learning by Functional Regularisation of Memorable Past

Pingbo Pan, Siddharth Swaroop+4 more|arXiv (Cornell University)|Apr 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 32

ひとこと要約

FROMP は、DNNs の Gaussian-process 形式化によって識別された記憶に残る過去の少数例に対してネットワーク出力を正則化することで、継続学習の機能的正則化アプローチを導入し、標準ベンチマークで最先端の結果を達成します。

ABSTRACT

Continually learning new skills is important for intelligent systems, yet standard deep learning methods suffer from catastrophic forgetting of the past. Recent works address this with weight regularisation. Functional regularisation, although computationally expensive, is expected to perform better, but rarely does so in practice. In this paper, we fix this issue by using a new functional-regularisation approach that utilises a few memorable past examples crucial to avoid forgetting. By using a Gaussian Process formulation of deep networks, our approach enables training in weight-space while identifying both the memorable past and a functional prior. Our method achieves state-of-the-art performance on standard benchmarks and opens a new direction for life-long learning where regularisation and memory-based methods are naturally combined.

研究の動機と目的

• 継続学習における壊滅的な忘却へ対処するため、重み正則化だけでなく出力レベルの正則化に焦点を当てる。
• DNN から導出された Gaussian Process-based な機能的事前分布を導入して次のタスクを正則化する。
• 計算オーバーヘッドを最小化しつつ性能を維持するために、少数で情報量のある記憶可能な過去の例を識別する。
• 記憶可能な過去の例間の相関を活用する機能的事前分布を用いて重み空間で訓練する。

提案手法

• ディープネットワークをGaussian Processesに変換して（DNN2GP）ネットワーク出力上の機能的事前分布を取得する。
• 各データ点を出力のヘッセ行列/二階微分（Lambda）を関連性指標として用いてデータ点をランキングし、記憶可能な過去の例を識別する。
• 現在のタスクを正則化するため、標準タスク損失と、記憶可能な past outputs に対する GP ポストeriors から導出された閉形式の機能的正則化項を組み合わせた損失を最小化する。
• Adam によるスケーラブルな学習を可能にするため、機能的事前分布を、Mean-field、ブロック対角カーネル、決定論的最適化といった扱いやすい近似で近似する。
• メモリ可能な過去に対する出力を過去の予測に近づけるように促しつつ、計算効率を維持する、重み付き機能的正則化子に似た目的関数を定式化する。

実験結果

リサーチクエスチョン

• RQ1 機能的正則化を、少数の記憶可能な過去の例に対して行うと、従来の重み正則化より継続学習タスクで優れているのか。
• RQ2 GP-based の機能的事前分布をネットワーク出力に適用することで、既存の機能的正則化手法と比較して過去のタスクの保持が改善されるのか。
• RQ3 自動的な記憶可能な過去の入力の選択が、継続学習の性能と計算コストにどう影響するか。
• RQ4 FROMP をスケーラブルな近似で実装する際の実用的な計算トレードオフは何か。

主な発見

• FROMP アプローチは、標準的な継続学習ベンチマークで最先端の性能を達成する（要旨に記載）。
• 損失 Hessian に結び付けられた関連性指標によって選択された記憶可能な過去の例は、意思決定境界付近に位置することが多く、忘却を防ぐために重要である。
• GP-based の機能的事前分布は、記憶可能な例同士の相関を利用して出力を正則化し、データ全体を保持することなく重み空間で訓練を可能にする。
• 従来の機能的正則化手法と比べ、_FROMP は記憶可能な過去を表すカーネルを組み込み、過去の予測へ平均を正則化することで一貫性と性能を向上させる。
• 標準的な最適化手法（Adam）を、ブロック対角カーネルやMean-field のような近似のおかげで、計算オーバーヘッドを抑えつつ適用可能である。