[論文レビュー] Understanding Regularisation Methods for Continual Learning.

Frederik Benzing|arXiv (Cornell University)|Jun 11, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 6

ひとこと要約

本論文は、理論的および実験的分析を通じて、合成的知能（Synaptic Intelligence）とメモリに配慮したシナプス（Memory Aware Synapses）が、継続的学習における理論的に根拠のある重要度測度であるフィッシャー情報量のスケーリングされたバージョンを近似していることを示している。この研究は、合成的知能の近似におけるバイアスがその優れた性能を説明しており、主要な正則化手法の有効性を統合的かつ説明可能にしている。

ABSTRACT

The problem of Catastrophic Forgetting has received a lot of attention in the past years. An important class of proposed solutions are so-called regularisation approaches, which protect weights from large changes according to their importances. Various ways to measure this importance have been put forward, all stemming from different theoretical or intuitive motivations. We present mathematical and empirical evidence that two of these methods -- Synaptic Intelligence and Memory Aware Synapses -- approximate a rescaled version of the Fisher Information, a theoretically justified importance measure also used in the literature. As part of our methods, we show that the importance approximation of Synaptic Intelligence is biased and that, in fact, this bias explains its performance best. Altogether, our results offer a theoretical account for the effectiveness of different regularisation approaches and uncover similarities between the methods proposed so far.

研究の動機と目的

• 継続的学習における正則化手法の理論的基盤を理解すること。
• 合成的知能やメモリに配慮したシナプスのような一般的な手法が、理論的に正当化された重要度測度を近似しているかどうかを調査すること。
• 近似バイアスが正則化手法の性能に果たす役割を分析すること。
• 共通の理論的基盤にそれらを結びつけることで、多様な正則化アプローチを統一すること。

提案手法

• 合成的知能とメモリに配慮したシナプスが、スケーリングされたフィッシャー情報行列を近似することを示す数学的導出。
• 継続的学習のシナリオにおいて、近似された重要度測度と真のフィッシャー情報量を比較する実験的評価。
• 合成的知能の重要度近似におけるバイアスの分析と、その性能への影響。
• 近似を理論的フィッシャー情報量測度と一致させるためのスケーリング技術の使用。
• 継続的学習ベンチマークにおける正則化性能の評価を通じて、近似の質とモデル精度の相関を分析。

実験結果

リサーチクエスチョン

• RQ1 合成的知能とメモリに配慮したシナプスは、理論的に正当化された重要度測度であるフィッシャー情報行列を近似しているか？
• RQ2 合成的知能のような正則化手法の性能に、近似バイアスが果たす役割は何か？
• RQ3 異なる重要度測度は、フィッシャー情報量との理論的および実験的整合性において、どのように比較されるか？
• RQ4 正則化手法の有効性は、共通の理論的基盤への近似を通じて説明可能か？

主な発見

• 合成的知能とメモリに配慮したシナプスの両方が、スケーリングされたフィッシャー情報行列を近似しており、これによりその有効性に理論的根拠が与えられる。
• 合成的知能の近似にはバイアスが存在し、このバイアスがその優れた実験的性能を説明する鍵要因であることが示された。
• 理論的および実験的証拠により、両手法がフィッシャー情報量への共通の近似を通じて密接に関連していることが確認された。
• 本研究は、継続的学習における正則化手法の成功が、理論的に妥当な重要度測度との整合性に起因していることを明らかにした。