[論文レビュー] Recent Advances of Continual Learning in Computer Vision: An Overview

Haoxuan Qu, Hossein Rahmani+3 more|arXiv (Cornell University)|Sep 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 153被引用数 41

ひとこと要約

この論文は、コンピュータビジョンにおける最近の継続学習手法を調査し、技術別（正則化、蒸留、メモリ、生成再現、パラメータ分離）に分類し、画像分類を超える応用を概説します。

ABSTRACT

In contrast to batch learning where all training data is available at once, continual learning represents a family of methods that accumulate knowledge and learn continuously with data available in sequential order. Similar to the human learning process with the ability of learning, fusing, and accumulating new knowledge coming at different time steps, continual learning is considered to have high practical significance. Hence, continual learning has been studied in various artificial intelligence tasks. In this paper, we present a comprehensive review of the recent progress of continual learning in computer vision. In particular, the works are grouped by their representative techniques, including regularization, knowledge distillation, memory, generative replay, parameter isolation, and a combination of the above techniques. For each category of these techniques, both its characteristics and applications in computer vision are presented. At the end of this overview, several subareas, where continuous knowledge accumulation is potentially helpful while continual learning has not been well studied, are discussed.

研究の動機と目的

• コンピュータビジョンにおける継続学習（CL）の最近の進展について体系的なレビューを提供する。
• 画像分類以外のCVのサブ分野（例：セマンティックセグメンテーション、生成など）にCL手法がどのように適用されているかを要約する。
• CL手法の主な分類とそれらの特徴、利点、制限を強調する。
• 継続的な知識蓄積がさらに探求され得るCVの潜在的なサブ分野を特定する。

提案手法

• CL手法を正則化ベース、知識蒸留ベース、メモリベース、生成再現ベース、パラメータ分離ベースの手法に分類し、説明する。
• 各カテゴリ内の主要なバリアントを要約する（正則化の下にEWC、SI、MASなど；知識蒸留の下にLwFおよび蒸留のバリアント）。
• CLの評価指標（平均精度、忘却、頑健性、前方/後方転移）について議論する。
• CLを多様なCVタスクへ適用する事例を説明する：画像分類、セマンティックセグメンテーション、画像生成、物体検出、キャプショニング、など。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョンで用いられる主な継続学習手法は何で、破局的忘却に対処する点でどう異なるか？
• RQ2 画像分類を超えるさまざまなCVタスクにおける継続学習手法のパフォーマンスは？
• RQ3 CVにおけるCLの性能と忘却を最もよく特徴づける評価指標は何か？
• RQ4 継続的な知識蓄積が恩恵を受ける可能性があるが十分に探究されていないCVのサブ分野はどれか？
• RQ5 正則化とメモリ、あるいは蒸留など、CL手法の組み合わせはどのように性能を向上させるか？

主な発見

• 本論文はCL手法を正則化、知識蒸留、メモリベース、生成再現、パラメータ分離の5つに分類している。
• CLは画像分類を超えてセマンティックセグメンテーション、画像生成、物体検出などにも拡張している。
• 基礎手法（例：EWC、SI、MAS、LwF）への複数のバリアントと改良を議論し、勾配正則化/学習率正則化を代替戦略として強調している。
• CLの性能評価指標として、平均精度、忘却、頑健性、前方/後方転移などを提供している。
• この概観は、継続学習が有益である可能性があるがまだ十分に研究されていないCVのサブ分野を特定している。