[論文レビュー] La-MAML: Look-ahead Meta Learning for Continual Learning

Gunshi Gupta, Karmesh Yadav+1 more|arXiv (Cornell University)|Jul 27, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 34

ひとこと要約

La-MAML は、忘却を減らし転移を改善するためにリプレイバッファを用いて各パラメータの学習率を調整する、継続的学習のオンラインメタ学習アルゴリズムです。

ABSTRACT

The continual learning problem involves training models with limited capacity to perform well on a set of an unknown number of sequentially arriving tasks. While meta-learning shows great potential for reducing interference between old and new tasks, the current training procedures tend to be either slow or offline, and sensitive to many hyper-parameters. In this work, we propose Look-ahead MAML (La-MAML), a fast optimisation-based meta-learning algorithm for online-continual learning, aided by a small episodic memory. Our proposed modulation of per-parameter learning rates in our meta-learning update allows us to draw connections to prior work on hypergradients and meta-descent. This provides a more flexible and efficient way to mitigate catastrophic forgetting compared to conventional prior-based methods. La-MAML achieves performance superior to other replay-based, prior-based and meta-learning based approaches for continual learning on real-world visual classification benchmarks. Source code can be found here: https://github.com/montrealrobotics/La-MAML

研究の動機と目的

• 有限の容量と忘却が生じる非定常なタスクストリームの下で継続学習を動機づける。
• 干渉を緩和するためにリプレイを用いるオンラインで高速なメタ学習アルゴリズムを開発する。
• Look-ahead MAML (La-MAML) を導入し、タスク間の学習速度を調整するための各パラメータの学習率モジュレーションを行う。
• リプレイベース、事前知識ベース、メタ学習ベースのベンチマークに対して、現実的な視覚データセットでのスケーラビリティと頑健性を実証する。

提案手法

• リプレイバッファを備えた基礎オンラインメタ学習法として Continual-MAML (C-MAML) を拡張する。
• 内部更新を調整するために非同期に更新されるパラメータごとに学習率（LR）を導入する。
• LRハイパー勾配がタスク勾配の整合と干渉をどのように反映するかを示す勾配を導出する。
• 現在のサンプルとリプレイサンプルの混合に基づいて評価されるメタ損失と k ステップの MAML 更新を介してオンラインメタ目的関数（OML）を最適化する。
• 学習速度と忘却のトレードオフを図るために、非同期で Look-ahead 的にネットワーク重みと LR を更新する。
• 標準的な CL ベンチマークとスケーラブルな視覚タスクで La-MAML を EWC、GEM、MER、iCARL、Sync、ER と経験的に比較する。

実験結果

リサーチクエスチョン

• RQ1 リプレイを用いたオンラインメタ学習は、既存のCL手法と比較して忘却の制御で競争力がある、あるいは上回ることができるか。
• RQ2 パラメータごとに学習可能な学習率（LR）は、タスク間の安定性と可塑性のバランスをとる柔軟な機構を提供するか。
• RQ3 非同期LRモジュレーションは勾配の整合性を改善し、継続学習における干渉を減らすか。
• RQ4 実世界の視覚データセットで、標準的な継続学習と効率的な生涯学習（LLL）設定の双方において La-MAML はどのように性能を発揮するか。

主な発見

• La-MAML はしばしば MNIST、CIFAR-100、TinyImagenet のベンチマークで、リプレイベース・事前ベース・メタ学習ベースのベースラインと同等かそれ以上の性能を示す。
• 非同期のパラメータごとの LRモジュレーションと Look-ahead 更新は、ベースラインよりも学習が速く、勾配の整合性が強くなる。
• La-MAML は現実的な視覚タスクへの頑健性とスケーラビリティを示し、競争力のある保持精度と低い後向き転移/忘却指標を示す。
• LRモジュレーションは固定LRの C-MAML より改善をもたらし、単純な ER ベースラインを上回る。特にタスク難易度が上がるにつれて顕著。
• 勾配整合性の測定では、La-MAML の変種がリプレイ勾配と新しいタスクの勾配のコサイン類似度を ER より高く達成し、タスク間転送がより良いことを示している。