[論文レビュー] Continual Learning with Foundation Models: An Empirical Study of Latent Replay

Оleksiy Ostapenko, Timothée Lesort+5 more|arXiv (Cornell University)|Apr 30, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

この論文は、潜在空間における特徴抽出器としてのフリーズされたフォーメーションモデルを用いた継続的学習（CL）を調査し、生データに対するエンドツーエンドの微調整と潜在的経験リプレイ（ER）を比較する。潜在的ERは、特に事前学習モデルが分布外データに一般化しやすい場合、はるかに少ない計算コストで競争力ある精度を達成することが判明した。また、タスクの類似性や表現品質といったデータ特性が、アルゴリズム設計よりもCL性能に強く影響することが示された。

ABSTRACT

Rapid development of large-scale pre-training has resulted in foundation models that can act as effective feature extractors on a variety of downstream tasks and domains. Motivated by this, we study the efficacy of pre-trained vision models as a foundation for downstream continual learning (CL) scenarios. Our goal is twofold. First, we want to understand the compute-accuracy trade-off between CL in the raw-data space and in the latent space of pre-trained encoders. Second, we investigate how the characteristics of the encoder, the pre-training algorithm and data, as well as of the resulting latent space affect CL performance. For this, we compare the efficacy of various pre-trained models in large-scale benchmarking scenarios with a vanilla replay setting applied in the latent and in the raw-data space. Notably, this study shows how transfer, forgetting, task similarity and learning are dependent on the input data characteristics and not necessarily on the CL algorithms. First, we show that under some circumstances reasonable CL performance can readily be achieved with a non-parametric classifier at negligible compute. We then show how models pre-trained on broader data result in better performance for various replay sizes. We explain this with representational similarity and transfer properties of these representations. Finally, we show the effectiveness of self-supervised pre-training for downstream domains that are out-of-distribution as compared to the pre-training domain. We point out and validate several research directions that can further increase the efficacy of latent CL including representation ensembling. The diverse set of datasets used in this study can serve as a compute-efficient playground for further CL research. The codebase is available under https://github.com/oleksost/latent_CL.

研究の動機と目的

• 生データに対するエンドツーエンド微調整と比較して、フリーズされたフォーメーションモデルを用いた潜在的経験リプレイ（ER）の継続的学習（CL）への有効性を評価すること。
• フォーメーションモデルの事前学習データ、アーキテクチャ、アルゴリズムが、潜在空間における下流のCL性能にどのように影響するかを調査すること。
• CL性能が主にCLアルゴリズム設計に起因するのか、それともデータおよび表現特性に起因するのかを理解すること。
• 表現品質、移行性、分布内・分布外データの役割が、CLの成功を決定づける要因として果たす役割を評価すること。
• 表現アンサンブルなどの実用的設定や研究方向性を同定し、潜在的CL性能をさらに向上させる可能性を示すこと。

提案手法

• 多様なアーキテクチャ、事前学習目的（例：対照的学習、マスキング自己符号化）、データセットをカバーする26種類の事前学習済みビジョンモデルを用いた大規模な実証ベンチマークを構築。
• 計算量・精度のトレードオフを比較するため、生入力空間（エンドツーエンド微調整）および潜在空間（潜在的ER）の両方で経験リプレイ（ER）を適用。
• 事前学習ドメインとの類似度に応じた異なる度合いの類似性を持つ5種類の異なるデータストリーム（分布内および分布外（OOD）設定を含む）を用意。
• 平均精度、忘却率、最終タスクの精度といった標準的な指標を用いてCL性能を評価。
• 性能差を説明するため、表現の類似性や移行性といった表現特性を分析。
• 計算コストを最小限に抑えるために、潜在空間で非パラメトリック分類器（例：k-NN）を用い、性能向上が可能かどうかをテスト。

実験結果

リサーチクエスチョン

• RQ1 異なるデータストリームにおいて、フリーズされたフォーメーションモデルを用いた潜在的ERは、エンドツーエンド微調整と比較して、計算コストと精度の点でどのように異なるか？
• RQ2 タスクの類似性、分布シフト、ドメインシフトといったデータ特性が、CLアルゴリズムとは独立してCL性能にどの程度影響を与えるか？
• RQ3 フォーメーションモデルの事前学習データ、アルゴリズム、アーキテクチャが、継続的学習のための潜在表現の質にどのように影響するか？
• RQ4 潜在空間における非パラメトリック分類器（例：k-NN）は、計算コストをほとんどかけずに競争力あるCL性能を達成できるか？
• RQ5 表現アンサンブルは、潜在的CL性能の向上にどのような役割を果たし、どのような状況で最も効果的か？

主な発見

• フリーズされたフォーメーションモデルを用いた潜在的ERは、ほとんどのデータストリームでエンドツーエンド微調整と同等またはそれ以上の最終精度を達成しており、計算コストはほぼ2桁低減されている。
• 分布外（OOD）ストリームでは、エンドツーエンド微調整が潜在的ERを著しく上回り、データ分布が事前学習から著しく逸脱する場合には微調整が不可欠であることが示された。
• より広範かつ多様なデータで事前学習されたフォーメーションモデル（例：DINO、CLIP、ImageNet-21k）は、優れた潜在表現を生成し、リプレイサイズにかかわらず、より良いCL性能を示した。
• 潜在特徴の表現的類似性と移行性は、CL成功の強力な予測要因であり、CLアルゴリズムに関係なく、あるモデルが他のモデルよりも一般化しやすい理由を説明している。
• 潜在空間における非パラメトリック分類器（例：k-NN）は、計算コストをほとんどかけずに優れた性能を達成しており、パrameterの更新なしに忘却を軽減できることを示している。
• 自己教師あり事前学習（例：DINO、CLIP）は、分布外ドメインへの強力なゼロショット一般化を可能にし、このような状況では教師あり事前学習を上回った。