[論文レビュー] Optimal Continual Learning has Perfect Memory and is NP-hard

Jeremias Knoblauch, Hisham Husain+1 more|arXiv (Cornell University)|Jun 9, 2020

Domain Adaptation and Few-Shot Learning被引用数 33

ひとこと要約

本論文は、最適な継続学習アルゴリズムは通常NP-hard問題を解決し、完全な記憶を必要とすることを主張し、経験再生とエピソード記憶が継続学習を助ける理由を説明する。

ABSTRACT

Continual Learning (CL) algorithms incrementally learn a predictor or representation across multiple sequentially observed tasks. Designing CL algorithms that perform reliably and avoid so-called catastrophic forgetting has proven a persistent challenge. The current paper develops a theoretical approach that explains why. In particular, we derive the computational properties which CL algorithms would have to possess in order to avoid catastrophic forgetting. Our main finding is that such optimal CL algorithms generally solve an NP-hard problem and will require perfect memory to do so. The findings are of theoretical interest, but also explain the excellent performance of CL algorithms using experience replay, episodic memory and core sets relative to regularization-based approaches.

研究の動機と目的

• 継続学習モデルが壊滅的忘却を起こす原因を調査する動機付け。
• 完璧な記憶を必要とする最適な継続学習アルゴリズムの計算的性質を特徴づける。
• 正則化ベースの手法と比較した記憶ベースのアプローチの経験的成功を説明する。

提案手法

• アルゴリズム関数 A_I と A_θ を用いて Idealized Continual Learning (Idealized CL) を定義する。
• 固定基準の下でのタスクとデータ分布の列の形式的枠組みを確立する。
• 最適な CL は忘却を避けるために完璧な記憶を持って NP-hard 問題を解くことを要求すると主張する。

実験結果

リサーチクエスチョン

• RQ1 壊滅的忘却を回避するために、最適な継続学習アルゴリズムが満たすべき計算的性質は何か？
• RQ2 実践的な CL 戦略（リプレイ、エピソード記憶、コアセットなど）は最適 CL の性質と整合しているか？
• RQ3 記憶ベースのアプローチは継続学習において正則化ベースのアプローチよりなぜ優れているのか？
• RQ4 タスク系列とデータ分布が与えられたとき、形式的条件の下で Idealized CL は実現可能か？

主な発見

• 最適な継続学習アルゴリズムは一般に NP-hard 問題を解決する。
• そのようなアルゴリズムは忘却を防ぐために完璧な記憶を必要とする。
• 記憶ベースの手法（経験再生、エピソード記憶、コアセット）は正則化ベースの手法より性能を説明できる。