[論文レビュー] Online Fast Adaptation and Knowledge Accumulation: a New Approach to Continual Learning

M. Caccia, Pau Rodríguez+9 more|arXiv (Cornell University)|Mar 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 56被引用数 13

ひとこと要約

本論文は、メタラーニングの用語を用いて、高速重みの適応と遅いパラメータ更新を統合する統一フレームワーク、OSAKAを提案する。データのサンプリング、高速重みの計算、遅い重みの更新を、サポートセットとクエリセットを用いてモデル化することで、OSAKAはタスク間でオンラインでの高速適応と知識の蓄積を可能にし、連続的学習の状況において一般化性能の向上を達成する。

ABSTRACT

Continual learning studies agents that learn from streams of tasks without forgetting previous ones while adapting to new ones. Two recent continual-learning scenarios have opened new avenues of research. In meta-continual learning, the model is pre-trained to minimize catastrophic forgetting of previous tasks. In continual-meta learning, the aim is to train agents for faster remembering of previous tasks through adaptation. In their original formulations, both methods have limitations. We stand on their shoulders to propose a more general scenario, OSAKA, where an agent must quickly solve new (out-of-distribution) tasks, while also requiring fast remembering. We show that current continual learning, meta-learning, meta-continual learning, and continual-meta learning techniques fail in this new scenario. We propose Continual-MAML, an online extension of the popular MAML algorithm as a strong baseline for this scenario. We empirically show that Continual-MAML is better suited to the new scenario than the aforementioned methodologies, as well as standard continual learning and meta-learning approaches.

研究の動機と目的

• メタラーニングと連続的学習の間の相互作用に起因する混乱を解消するための統一的コンセプトフレームワークを提供すること。
• タスクが逐次的に現れ、リアルタイムで適応される状況において、連続的学習をメタラーニングの問題として形式化すること。
• 高速および遅い重みの更新を有する構造化された学習アルゴリズムを通じて、オンラインでの高速適応と長期的な知識蓄積を可能にすること。
• 教師あり学習、メタラーニング、連続的学習を含む、複数の学習パラダイムに一般化可能なフレームワークを提示すること。
• 動的文脈の変化とクエリベースの評価をサポートする、連続的メタラーニングを可能にする新規な訓練制度—OSAKA—を導入すること。

提案手法

• データ分布を定義する文脈変数 C を用いて、各学習パラダイムをモデル化し、文脈をタスクまたはタスクの特徴として表現する。
• サポートセット S とクエリセット Q をコアな構成要素として導入し、S は高速重みの計算に、Q は性能の評価に使用する。
• 学習アルゴリズム A を、サポートセット S から予測子 fθ = A(S) への関数的写像として定義し、パラメータ θ を高速適応により学習する。
• クエリセットにおける予測子の評価に損失関数 L(fθ, Q) を適用し、アルゴリズム A のメタ最適化を可能にする。
• 遅い重み ϕ の更新に、メタ最適化目的関数 ∇ϕ∑tL(fθt, Qt) を用い、fθt をオンラインで逐次的に Aϕ(St−1) により計算する。
• 新規な訓練プロトコル—OSAKA—を採用し、過去のクエリ状態を用いてオンラインで高速重みを適応させ、累積損失に基づく勾配降下法で遅い重みを更新する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングと連続的学習を、単一のフレームワークの下で形式的に統合する方法は何か？
• RQ2 高速重みと遅い重みが、オンライン適応と長期的知識保持をどのように可能にするか？
• RQ3 OSAKAフレームワークは、動的で逐次的なタスク分布を持つ連続的メタラーニングをどのようにサポートするか？
• RQ4 多様な学習設定において、高速適応と遅いパrameter更新の両方をサポートする統一された訓練プロトコルを設計できるか？
• RQ5 サポートセットとクエリセットの使用が、連続的学習の状況における一般化性能をどのように向上させるか？

主な発見

• 提案された OSAKA フレームワークは、サポートセットとクエリセットを用いて、メタラーニング、連続的学習、およびその変種を単一で整合性のあるフレームワークに統合した。
• OSAKA は、過去のクエリ状態から高速重みを計算することで、オンラインでの高速適応を可能にし、新規データへの迅速な対応を実現する。
• 遅い重み ϕ は、累積損失 ∑tL(fθt, Qt) の勾配降下法により更新され、長期的な知識蓄積が保証される。
• フレームワークは、逐次的な文脈 C1:T をモデル化し、時間経過に伴うアルゴリズムの適応を可能にすることで、連続的メタラーニングをサポートする。
• 高速適応（サポートセット上で）と遅いパrameter更新（メタ最適化を通じて）を分離することで、連続的学習における一般化性能が向上する。
• 高速重み（タスク固有）と遅い重み（メタ学習で得られる）の明確な概念的分離がなされ、解釈性と訓練の安定性が向上する。