[論文レビュー] Task Agnostic Continual Learning via Meta Learning

Xu He, Jakub Sygnowski+4 more|arXiv (Cornell University)|Jun 12, 2019

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 57

ひとこと要約

本論文は、メタ学習を用いて最近の観測から現在のタスク文脈を推定し、予測を適応させるタスク非依存の連続学習フレームワークを提案する。これにより、タスク境界がない非定常なタスク列に対して迅速なリコールを実現する。

ABSTRACT

While neural networks are powerful function approximators, they suffer from catastrophic forgetting when the data distribution is not stationary. One particular formalism that studies learning under non-stationary distribution is provided by continual learning, where the non-stationarity is imposed by a sequence of distinct tasks. Most methods in this space assume, however, the knowledge of task boundaries, and focus on alleviating catastrophic forgetting. In this work, we depart from this view and move the focus towards faster remembering -- i.e measuring how quickly the network recovers performance rather than measuring the network's performance without any adaptation. We argue that in many settings this can be more effective and that it opens the door to combining meta-learning and continual learning techniques, leveraging their complementary advantages. We propose a framework specific for the scenario where no information about task boundaries or task identity is given. It relies on a separation of concerns into what task is being solved and how the task should be solved. This framework is implemented by differentiating task specific parameters from task agnostic parameters, where the latter are optimized in a continual meta learning fashion, without access to multiple tasks at the same time. We showcase this framework in a supervised learning scenario and discuss the implication of the proposed formalism.

研究の動機と目的

• 既知のタスク境界やアイデンティティなしに、非定常データに対処する。
• 解かれているタスクが何かを、タスクの解き方がどうあるべきかから分離する。
• 文脈データから現在のタスクを推定し、それに応じてタスク特有のモデルを適応させる。
• 忘却を防ぐために、連続学習でメタ学習コンポーネントを安定化させる。
• 連続学習とメタ学習を統合する実装済みメソッドでフレームワークを実証する。

提案手法

• タスク推定とタスク解法を分離する What & How の二モジュールフレームワークを提案する。
• What エンコーダ F^What を用いて、文脈データ D_t^cxt から現在のタスク表現 c_t を推定する。
• タスク表現 c_t をタスク特異モデル F^How に写像し、x から y を予測する。
• 最近の k 個の観測を文脈として用い、区分的に定常なタスクや滑らかに変化するタスクを捉える。
• ベイズ勾配降下 (BGD) によってメタパラメータへ連続学習を適用し、タスク間で学習を安定化させる。
• 文脈依存ゲーティングによる MetaCoG、GO-MTM/ELLA に類似した潜在タスク辞書による MetaELLA でフレームワークを具体化する。
• 新しいタスクを学習しつつスキルを保持するために、BGD でメタパラメータを更新できることを示す。

実験結果

リサーチクエスチョン

• RQ1 明示的なタスクラベルなしで、文脈から現在のタスクを推定し適応できる、タスク非依存の連続学習システムは可能か。
• RQ2 メタ学習レベルで連続学習を適用することで、互いに矛盾する連続タスク間の迅速なリコールを実現できるか。
• RQ3 非定常で境界なしの状況において、What & How を具体化したメタ学習法は標準的なベースラインとどう比較されるか。
• RQ4 入力からタスクアイデンティティが推定できない場合、性能を維持するにはタスク推定が必須か。

主な発見

• 文脈が利用可能な場合、メタ学習ベースのタスク推定は迅速なリコールを可能にし、タスク推定を行わないベースラインよりも高性能である。
• メタパラメータへの BDG ベースの更新は知識を統合し、連続タスク間の忘却を防ぐ。
• MetaCoG と MetaELLA は、タスク非依存設定が優勢な実用的な連続メタ学習の世界を示す。
• 正弦曲線回帰とラベル並べ替えMNISTで、メタ学習者は内部ループ更新を少なくして過去のタスクをリコールする一方、ベースラインは失敗する。
• Omniglot の実験では、タスク文脈が推定される場合、シングルヘッドアーキテクチャがマルチヘッドのベースラインに匹敵する。
• What と How を分離し、より速いリメンバーリングに焦点を当てることで、連続学習とメタ学習を統合するフレームワークである。