[論文レビュー] CLIP model is an Efficient Continual Learner

Vishal Thengane, Salman Khan+2 more|arXiv (Cornell University)|Oct 6, 2022

Multimodal Machine Learning Applications被引用数 14

ひとこと要約

この論文は、微調整、メモリリプレイ、ハイパーパramータチューニングなしで、ImageNet-100/1K、CIFAR-100、TinyImageNet、CORe50において、クラスインクリメンタル、ドメインインクリメンタル、タスクに依存しない設定の3つの継続的学習設定において、ファrozen CLIPモデルがゼロショット継続的学習で最先端の性能を達成することを示している。その強力な一般化性能は、4億枚の画像・テキストペアで事前学習されたCLIPの対照的学習に起因し、単純なプロンプト工学によってさらに向上している。

ABSTRACT

The continual learning setting aims to learn new tasks over time without forgetting the previous ones. The literature reports several significant efforts to tackle this problem with limited or no access to previous task data. Among such efforts, typical solutions offer sophisticated techniques involving memory replay, knowledge distillation, model regularization, and dynamic network expansion. The resulting methods have a retraining cost at each learning task, dedicated memory requirements, and setting-specific design choices. In this work, we show that a frozen CLIP (Contrastive Language-Image Pretraining) model offers astounding continual learning performance without any fine-tuning (zero-shot evaluation). We evaluate CLIP under a variety of settings including class-incremental, domain-incremental and task-agnostic incremental learning on five popular benchmarks (ImageNet-100 & 1K, CORe50, CIFAR-100, and TinyImageNet). Without any bells and whistles, the CLIP model outperforms the state-of-the-art continual learning approaches in the majority of the settings. We show the effect on the CLIP model's performance by varying text inputs with simple prompt templates. To the best of our knowledge, this is the first work to report the CLIP zero-shot performance in a continual setting. We advocate the use of this strong yet embarrassingly simple baseline for future comparisons in the continual learning tasks.

研究の動機と目的

• ファrozen CLIPモデルが、タスク固有の設計や再訓練なしに、継続的学習の強力で汎用的なベースラインとして機能できるかどうかを評価すること。
• クラスインクリメンタル、ドメインインクリメンタル、タスクに依存しない学習の3つの多様な継続的学習プロトコルにおけるCLIPのゼロショット性能を評価すること。
• 異なるテキストプロンプトテンプレートとプーリング戦略を用いたプロンプト工学が、CLIPの継続的学習精度に与える影響を調査すること。
• 設定特有の制約に縛られない、シンプルでスケーラブルかつメモリフリーなベースラインを確立すること。
• 現在の分散した継続的学習の状況に挑戦し、基盤となるビジョン・ランゲージモデルを統一的かつ一般化可能な解決策として提唱すること。

提案手法

• 微調整やパラメータ更新なしに、ゼロショット推論を用いて継続的学習ベンチマークで事前学習済みでファrozenなCLIPモデルを評価する。
• テキストプロンプトテンプレートを用いてCLIPの分類ヘッドを条件づけ、クラス名はImageNetの元のラベル、キュレートされたラベル、WordNetの類義語から得る。
• 2つのプロンプトプーリング戦略を適用：意思決定ベースのプーリング（複数のプロンプト間でのログティスの平均化）と埋め込みプーリング（テキスト埋め込みをスタック）。
• 5つの主要なベンチマークでテスト：ImageNet-100/1K、CORe50、CIFAR-100、TinyImageNet、および複数の継続的学習プロトコルにおけるガウススケジュールドCIFAR-100。
• すべての設定で最先端の継続的学習手法と性能を比較し、ファrozen CLIPベースラインの有効性を検証する。
• 誤りの原因を特定するため、誤分類の原因を特定するための混同行列を分析し、特に意味的に類似したクラス間の誤分類を特定する。

実験結果

リサーチクエスチョン

• RQ1 ファrozen CLIPモデルは、微調整やメモリリプレイなしで、複数のプロトコルにおいて競争力のある継続的学習性能を達成できるか？
• RQ2 プロンプト工学（具体的にはクラス名の選定とプーリング戦略）は、CLIPのゼロショット継続的学習精度にどのように影響するか？
• RQ3 CLIPが4億枚の画像・テキストペアで事前学習されていることにより、ダウンストリームの一部のクラスが事前学習段階で存在していたとしても、継続的学習のシナリオへの一般化が可能になるか？
• RQ4 CLIPの性能は、多様なベンチマークと設定において、最先端の継続的学習手法と比較してどうなるか？
• RQ5 1つの統一的でファrozenなビジョン・ランゲージモデルが、クラスインクリメンタル、ドメインインクリメンタル、タスクに依存しない継続的学習のすべての設定において、強固なベースラインとして機能できるか？

主な発見

• ImageNet-100では、キュレートされたクラス名と埋め込みプーリングを用いたContinual-CLIPは84.85%の精度を達成し、同設定におけるSOTA手法を上回った。
• ImageNet-1Kのクラスインクリメンタル設定では、ファrozen CLIPモデルが微調整なしで競争力ある性能を示し、大規模データセットへのスケーラビリティを実証した。
• ドメインインクリメンタル設定のCORe50では、CLIPが強力な一般化性能を示し、再訓練なしでドメインシフトに対して頑健であることが示された。
• キュレートされたクラス名（タイプb）が最も高い精度を達成した。これは、クラス間の意味的曖昧さを最小限に抑えたためであり、元のImageNetラベルや類義語ベースの名前を上回った。
• ImageNet-100では埋め込みプーリング（84.85%）が意思決定ベースのプーリング（82.24%）をわずかに上回ったが、両者ともプロンプト工学と追加の計算を要した。
• 混同行列の分析から、誤りの主な原因は意味的に類似したクラス間の誤分類（例：「mouse」が「shrew」と誤分類）であることが判明し、細分化された視覚的・意味的アライメントの限界が示された。