[論文レビュー] Meta Continual Learning

Risto Vuorio, Dong-Yeon Cho+2 more|arXiv (Cornell University)|Jun 11, 2018

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 27

ひとこと要約

本稿では、継続的学習における災難的忘却を最小限に抑えるために、最適なパラメータ更新ステップを予測するニューラルネットワークを訓練するメタラーニング手法、Meta Continual Learningを提案する。過去のタスクにおけるパラメータの重要性に基づいて更新を調整することで、順次MNISTタスクにおいて優れた性能を達成し、標準的なSGDやいくつかのベースラインを上回る精度を示した。

ABSTRACT

Using neural networks in practical settings would benefit from the ability of the networks to learn new tasks throughout their lifetimes without forgetting the previous tasks. This ability is limited in the current deep neural networks by a problem called catastrophic forgetting, where training on new tasks tends to severely degrade performance on previous tasks. One way to lessen the impact of the forgetting problem is to constrain parameters that are important to previous tasks to stay close to the optimal parameters. Recently, multiple competitive approaches for computing the importance of the parameters with respect to the previous tasks have been presented. In this paper, we propose a learning to optimize algorithm for mitigating catastrophic forgetting. Instead of trying to formulate a new constraint function ourselves, we propose to train another neural network to predict parameter update steps that respect the importance of parameters to the previous tasks. In the proposed meta-training scheme, the update predictor is trained to minimize loss on a combination of current and past tasks. We show experimentally that the proposed approach works in the continual learning setting.

研究の動機と目的

• 継続的学習において、新しいタスクを学習する際に過去のタスクの性能が低下する災難的忘却を解消すること。
• 手作業で設計された正則化仮定を避ける、一般的で自動化された継続的学習手法の開発。
• メタラーニングを用いて、継続的学習の文脈で最適化を学ぶことの可能性を調査すること。
• 過去のタスクの性能を尊重する、タスクに依存しない更新ルールを学習する可能性を実証すること。

提案手法

• 災難的忘却を最小化するための、各パラメータごとの更新ステップを予測するメタネットワーク（更新予測子）を訓練する。
• 更新予測子を、現在のタスクと過去のタスクの組み合わせ上で最適化するメタトレーニングスキームを用いる。
• 更新予測子は、過去のタスクに対するパラメータの重要性の推定に基づき、各パラメータの勾配更新に対するスケーリング要因を出力する。
• 現在のタスクと過去のタスクの両方の性能を組み合わせた損失関数を用いて、エンドツーエンドでモデルを訓練する。
• このアプローチでは、重要度の高いパラメータに対しては小さな更新、柔軟性の高いパラメータに対しては大きな更新を動的に調整する。
• 過去のデータの明示的記憶やタスク固有の正則化を必要とせず、代わりに学習された更新ガイドに依存する。

実験結果

リサーチクエスチョン

• RQ1 明示的な記憶や手作業で設計された正則化を用いずに、学習された更新予測子が継続的学習における災難的忘却を効果的に軽減できるか。
• RQ2 共有されるデータ分布を持つ順次タスクにおいて、メタラーニングで得た最適化ルールがどれほど一般化できるか。
• RQ3 更新予測子は、過去のタスクに不可欠なパラメータを識別し、新しいタスクの学習中にそれらを保持するよう学習するか。
• RQ4 メタラーニングで得た更新ルールの性能は、確立された継続的学習ベースラインと比べてどうか。

主な発見

• 提案手法は、分離されたMNISTタスクにおいて82.3% ± 0.92のテスト精度を達成し、SGD（47.72%）を著しく上回り、いくつかのベースラインと同等またはそれを上回った。
• シャッフルされたMNISTでは95.5% ± 0.58の精度に達し、最新の手法（IMM：98.3% ± 0.08、EWC：98.2%）に近い性能を示した。
• メタトレーニングの進行に伴い、三峰分布を示す出力分布の変化から、過去のタスクに不可欠なパラメータに対してはほぼゼロに近い更新が割り当てられていることが裏付けられた。
• モデルは効果的な知識保持を示し、メタトレーニングの進行に伴い、非重要パラメータの出力値が上昇した。
• 原則として、より長いタスクシーケンスにも一般化可能であるが、現在の実験は3つのタスクに限定されている。