[論文レビュー] Meta-Learning Representations for Continual Learning

Khurram Javed, Martha White|arXiv (Cornell University)|May 29, 2019

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 25

ひとこと要約

この論文は、継続的学習における災難的干渉を最小限に抑え、将来の学習を加速するためのニューラルネットワーク表現を学習するメタラーニング目的であるOMLを提案する。オンライン更新に対する頑健性を最適化することで、OMLは自然にスパースな表現を学習し、標準的手法を上回る性能を発揮する。これにより、単純なオンライン更新がリハーサルベースの手法に匹敵する。

ABSTRACT

A continual learning agent should be able to build on top of existing knowledge to learn on new data quickly while minimizing forgetting. Current intelligent systems based on neural network function approximators arguably do the opposite---they are highly prone to forgetting and rarely trained to facilitate future learning. One reason for this poor behavior is that they learn from a representation that is not explicitly trained for these two goals. In this paper, we propose OML, an objective that directly minimizes catastrophic interference by learning representations that accelerate future learning and are robust to forgetting under online updates in continual learning. We show that it is possible to learn naturally sparse representations that are more effective for online updating. Moreover, our algorithm is complementary to existing continual learning strategies, such as MER and GEM. Finally, we demonstrate that a basic online updating strategy on representations learned by OML is competitive with rehearsal based methods for continual learning. We release an implementation of our method at https://github.com/khurramjaved96/mrcl .

研究の動機と目的

• オンライン更新に対する頑健性を明示的に訓練することで、継続的学習における災難的干渉を解消すること。
• 新しいデータへの適応を高速化できる表現を学習することで、将来の学習を加速すること。
• スパarsityのような代理指標に依存せず、オンライン学習中に干渉を直接最小化するメタ目的を開発すること。
• 既存の継続的学習手法と補完的である表現を構築し、それらの性能を向上させること。
• OMLで学習した表現に対して基本的なオンライン更新が、リハーサルベースの手法を同等または上回ることを示すこと。

提案手法

• OMLは、データの軌道に沿ったオンライン更新後の性能を評価するメタ目的によって表現ネットワークを最適化するメタラーニングフレームワークを用いる。
• メタ目的は、過去のタスクからの知識を保持するように、小さな勾配更新を促進することで干渉を最小化する。
• メタトレーニング中、内側のループでは予測学習ネットワーク（PLN）のみを更新するが、外側のループではメタ目的に基づき、表現学習ネットワーク（RLN）とPLNの両方を更新する。
• 明示的なスパarsity正則化なしに、本質的にスパースな表現を学習する。
• 推論時のオンライン更新では、RLNは固定されたまま、PLNのみを変更するため、継続的学習が効率的に行える。
• MER、EWC、ER-Reservoirといった既存の継続的学習手法とも互換性があり、OMLで学習した表現を初期化値として用いることで性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習中に災難的干渉を直接最小化できるメタ目的を設計できるか？
• RQ2 忘却に対して頑健であり、かつ将来の学習を効果的に加速できる表現を学習できるか？
• RQ3 明示的なスパarsity制約なしに、OMLの目的が自然にスパースな表現を生成するか？
• RQ4 OMLで学習した表現に対して基本的なオンライン更新が、より複雑なリハーサルベースの手法を上回ることができるか？
• RQ5 OMLは既存の継続的学習アルゴリズムとどのように相互作用し、それらをどのように改善するか？

主な発見

• EWC、MER、ER-Reservoirを含む、テストされたすべての継続的学習手法において、OMLで学習した表現を用いることで、性能が顕著に向上した。
• 50タスク（1タスクあたり1クラス）のSplit-Omniglotでは、OMLを活用したオンライン更新で64.72%の正確度を達成し、標準的な表現を用いたリハーサルベース手法（ER-Reservoir：68.16%、MER：76.00%）を上回った。
• 1タスクあたり5クラスの設定では、OMLベースのオンライン更新で55.32%の正確度を達成し、標準的な表現を用いた他のすべての手法を上回った。
• 固定表現での事前学習はわずかな向上しかもたらさなかったが、OMLは一貫して顕著な改善を示し、静的表現学習よりも優れていることを示した。
• OMLは近似的なIID学習を上回ったことから、干渉を軽減するだけでなく、新規データに対する学習速度も向上させていることが示された。
• OML表現を用いることで、オンライン手法とリハーサルベース手法の性能差が縮小したため、OMLがオンライン学習をより効果的にしていることが示唆された。