[論文レビュー] On Quadratic Penalties in Elastic Weight Consolidation

Ferenc Huszár|arXiv (Cornell University)|Dec 11, 2017

Gaussian Processes and Bayesian Inference参考文献 5被引用数 33

ひとこと要約

この論文は、標準的なエラスティック・ウェイト・コンソリデーション（EWC）アルゴリズムを批判し、すべての過去のタスクのパラメータに固定された複数の2次ペナルティを用いることで、初期のタスクデータが二重に数え上げられ、初期タスクに偏向するシステム的バイアスが生じることを示している。本稿では、最も最近に学習されたパラメータのみに固定された単一ペナルティの変種を提案し、これはラプラス近似と理論的により整合的であり、ストレージコストを削減しながら性能を維持する。

ABSTRACT

Elastic weight consolidation (EWC, Kirkpatrick et al, 2017) is a novel algorithm designed to safeguard against catastrophic forgetting in neural networks. EWC can be seen as an approximation to Laplace propagation (Eskin et al, 2004), and this view is consistent with the motivation given by Kirkpatrick et al (2017). In this note, I present an extended derivation that covers the case when there are more than two tasks. I show that the quadratic penalties in EWC are inconsistent with this derivation and might lead to double-counting data from earlier tasks.

研究の動機と目的

• 継続的学習におけるエラスティック・ウェイト・コンソリデーション（EWC）の理論的整合性がベイジアン推論とどうかを調査すること。
• すべての過去のタスクのパラメータに固定された複数の2次ペナルティを用いるEWCの欠陥を特定すること。
• このような複数ペナルティが、初期タスクのデータを二重に数え上げており、初期タスクに偏向するシステム的バイアスを生じることを示すこと。
• 最も最近に学習されたパラメータにのみ固定された単一ペナルティのEWC変種を提案し、これは再帰的ラプラス近似と理論的により整合的であること。
• 最新のペナルティのみを保持することで、効率的かつ定数ストレージの継続的学習を可能とし、データセットの再訪問を可能にする多ペナルティ拡張をサポートすること。

提案手法

• ベイズの定理を用いて逐次学習におけるベイジアン事後分布を導出し、タスクTの事後分布がタスクAからSの事後分布に依存することを示す。
• 2次のテイラー展開（ラプラス法）を対数事後分布に適用し、パラメータの事前分布を、直前のタスクの最適パラメータを中心とする2次形式として近似する。
• 標準的なEWCペナルティが2タスクの場合には対角ラプラス近似に等しくなるが、3つ以上のタスクでは複数のペナルティ中心の存在により整合性が失われる。
• 最新のタスクのパラメータのみが正則化の中心となる単一ペナルティEWC変種を、再帰的ラプラス近似の適用から導出する。
• 再帰的計算を用いてバイアスのないペナルティ中心を持つ多ペナルティ変種を導入し、データセットの再訪問とタスク固有の損失関数の表面のより正確な近似を可能にする。
• 二重数え上げを回避するためのペナルティ中心の更新の再帰的公式を導出し、すべての過去のフィッシャー情報行列を保存しなくても、効率的な再推定と動的再最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 2つ以上のタスクに適用する場合、標準的なEWCアルゴリズムはベイジアン推論と理論的に整合的か？
• RQ2 すべての過去のタスクの最適パラメータに固定された複数の2次ペナルティの使用は、初期タスクのデータを二重に数え上げることになるか？
• RQ3 最新のパラメータにのみ固定された単一ペナルティEWC変種を理論的にラプラス近似と整合的に導出できるか？ また、初期タスクへのバイアスを軽減できるか？
• RQ4 複数ペナルティを保持する際のストレージコストはどの程度か？ また、性能を損なわずに削減可能か？
• RQ5 アルゴリズムを拡張して、古いデータセットの再訪問を可能としつつ、タスク固有の正則化を正確に維持できるか？

主な発見

• すべての過去のタスクのパラメータに固定された複数の2次ペナルティを適用する標準的なEWCアルゴリズムは、初期タスクのデータが二重に数え上げられ、初期タスクに偏向するシステム的バイアスを生じる。
• 2タスクの場合、EWCは学習可能なタスク重要度ハイパーパrameterを有する対角ラプラス近似に等しくなるが、3つ以上のタスクではこの等価性が崩れる。
• 最も最近に学習されたパラメータにのみ固定された単一ペナルティEWC変種は、再帰的ラプラス近似と理論的により整合的であり、二重数え上げを回避する。
• 単一ペナルティ変種のストレージコストは、タスク数に依存せず定数であり、最新のパラメータセットと1つのフィッシャー情報の移動和のみを保持すればよい。
• 再帰的計算によりバイアスのないペナルティ中心を持つ多ペナルティ変種は、データセットの再訪問を可能とし、タスク固有の損失関数の表面をより正確に近似できる。
• ペナルティ中心の更新の再帰的公式により、すべての過去のフィッシャー情報行列を保存せずとも、タスク固有ペナルティの効率的再推定と動的再最適化が可能となる。