[論文レビュー] Meta-learnt priors slow down catastrophic forgetting in neural networks

Giacomo Spigler|arXiv (Cornell University)|Sep 9, 2019

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 9

ひとこと要約

本稿では、個々のタスクではなくタスクの系列にわたってニューラルネットワークを事前学習することで、深刻な忘却を軽減するメタラーニング手法SeqFOMAMLを提案する。速やかな適応と順次タスク間での記憶保持の両方を最適化する初期パラメータの最適化により、SeqFOMAMLは、OmniglotおよびMiniImageNetベンチマークにおいて、以前に学習したタスクの精度の低下が遅くなることで、著しく忘却を軽減することが示された。

ABSTRACT

Current training regimes for deep learning usually involve exposure to a single task / dataset at a time. Here we start from the observation that in this context the trained model is not given any knowledge of anything outside its (single-task) training distribution, and has thus no way to learn parameters (i.e., feature detectors or policies) that could be helpful to solve other tasks, and to limit future interference with the acquired knowledge, and thus catastrophic forgetting. Here we show that catastrophic forgetting can be mitigated in a meta-learning context, by exposing a neural network to multiple tasks in a sequential manner during training. Finally, we present SeqFOMAML, a meta-learning algorithm that implements these principles, and we evaluate it on sequential learning problems composed by Omniglot and MiniImageNet classification tasks.

研究の動機と目的

• 標準的なメタラーニングの限界に対処する。すなわち、個々のタスクに学習させることで、順次学習において深刻な忘却を防げない点を改善する。
• 継続的学習を、個々のタスクではなくタスクの系列におけるメタラーニング問題として形式化する。
• 順次に提示されるタスクにおいて、速やかな適応と長期的記憶保持の両方に最適化された初期モデルパラメータを学習する手法を開発する。
• 全タスク系列におけるメタトレーニングが、個々のタスクにおけるメタラーニングと比較して、より良い一般化性能と干渉の低減をもたらすことを実証する。
• split-Omniglotおよびsplit-MiniImageNetにおける実証的検証を提供し、過去のタスクにおける忘却率の低減とパフォーマンス向上を示す。

提案手法

• 個々のタスクではなく、タスクの系列から構成されるメタバッチを使用するFOMAMLの変種であるSeqFOMAMLを提案する。
• タスクの系列の分布を用いて初期モデルパラメータを最適化し、新しいタスクへの速やかな適応と、以前に学習した知識の保持を可能にする。
• メタトレーニング後、実際のタスク系列に対して標準的な確率的勾配降下法を用いてファインチューニングするが、モデルやトレーニング体制を変更しない。
• バルドウィン効果を活用し、メタトレーニングを、生涯学習のための事前分布を進化させるプロセスとしてモデル化する。これは生物学的学習に類似している。
• 新しいタスクと以前に見たタスクの両方におけるパフォーマンスを最大化するように、共同最適化基準を用いて目的を形式化する。
• 計算コストを削減するために一次近似を適用し、効率を維持しながら有効な順次学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 個々のタスクにおける標準的メタラーニングと比較して、タスクの系列におけるメタラーニングが深刻な忘却を軽減できるか。
• RQ2 全タスク系列に対する事前学習が、順次学習中に以前に学習したタスクの知識保持にどのように影響するか。
• RQ3 SeqFOMAMLが学習する表現は、タスク間でどれほど一般化可能であり、その後続のタスクからの干渉に対してどれほど耐性を示すか。
• RQ4 本手法は、長期間にわたるタスク系列を含む複雑な現実世界の継続的学習シナリオにスケーリング可能か。
• RQ5 Elastic Weight Consolidationなどの既存の継続的学習手法と、SeqFOMAMLを効果的に組み合わせられるか。

主な発見

• SeqFOMAMLはsplit-MiniImageNetにおいて深刻な忘却を顕著に軽減し、長さ10のタスク系列では、タスク精度の減衰時間定数がτ₁₀ = 200.9にまで上昇する。
• 長さ20のタスク系列では、減衰時間定数がτ₂₀ = 273.8にまで上昇し、短い系列と比較して忘却が遅くなることが示された。
• 標準的FOMAMLでさえ、ベースラインとして相対的に低い忘却率（τ₁ = 91.5）を示しており、メタラーニングで得られる表現が、既に干渉に対してある程度の耐性を有していることが示唆された。
• FOMAMLパラメータで初期化されたマルチヘッドネットワークの性能が低く抑えられていたことから、メタラーニングで得た特徴量が本質的に転送可能で安定していることが示された。
• SeqFOMAMLは、タスク系列全体にわたる記憶保持を明示的に最適化することで、順次学習環境において標準的メタラーニングを上回る性能を発揮する。
• 本手法はモデルに依存せず、Elastic Weight Consolidationのような他の継続的学習技術と組み合わせることで、さらなるパフォーマンス向上が可能である。