[論文レビュー] Introducing Language Guidance in Prompt-based Continual Learning

Muhammad Gul Zain Ali Khan, Muhammad Ferjad Naeem+4 more|arXiv (Cornell University)|Aug 30, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用数 3

ひとこと要約

本稿では、事前学習された言語埋め込みとプロンプトプールのキーおよびビジョンエンコーダ出力を整合させる言語誘導型プロンプトベース継続的学習（LGCL）を提案する。追加の可学習パラメータを一切用いないにもかかわらず、一般化性能を向上させ、深刻な忘却を軽減し、Split CIFAR-100 や ImageNet-R といったベンチマークデータセットで新たなSOTAを達成した。

ABSTRACT

Continual Learning aims to learn a single model on a sequence of tasks without having access to data from previous tasks. The biggest challenge in the domain still remains catastrophic forgetting: a loss in performance on seen classes of earlier tasks. Some existing methods rely on an expensive replay buffer to store a chunk of data from previous tasks. This, while promising, becomes expensive when the number of tasks becomes large or data can not be stored for privacy reasons. As an alternative, prompt-based methods have been proposed that store the task information in a learnable prompt pool. This prompt pool instructs a frozen image encoder on how to solve each task. While the model faces a disjoint set of classes in each task in this setting, we argue that these classes can be encoded to the same embedding space of a pre-trained language encoder. In this work, we propose Language Guidance for Prompt-based Continual Learning (LGCL) as a plug-in for prompt-based methods. LGCL is model agnostic and introduces language guidance at the task level in the prompt pool and at the class level on the output feature of the vision encoder. We show with extensive experimentation that LGCL consistently improves the performance of prompt-based continual learning methods to set a new state-of-the art. LGCL achieves these performance improvements without needing any additional learnable parameters.

研究の動機と目的

• データリプレイやアーキテクチャ拡張に依存せずに、継続的学習における深刻な忘却を解消すること。
• 事前学習された言語モデルの意味的整合性を、分離したタスククラスのための統一された表現空間として活用すること。
• タスクレベル（プロンプトプールのキー）およびクラスレベル（出力特徴）で言語誘導を導入することで、プロンプトベース継続的学習を改善すること。
• 追加のトレーナブルパラメータを追加せずに性能を向上させるモデルに依存しない手法を開発すること。
• 異なるテキストエンコーダおよびキー初期化戦略において、言語誘導の堅牢性と有効性を検証すること。

提案手法

• 全タスクのクラスラベルのCLIPまたはBERT風テキスト埋め込みと、プロンプトプール内の学習可能なキーを一致させることで、タスクレベルの言語誘導を導入する。
• ビジョンエンコーダの出力特徴と、正解クラスラベルの言語埋め込みを一致させることで、クラスレベルの言語誘導を適用する。
• プロンプトキー埋め込みと対応するタスクレベルの言語表現との距離を最小化するための対照的損失を用いる。
• ビジョンエンコーダの出力特徴とクラスレベルの言語埋め込みとの距離を最小化するための対照的損失を用いる。
• CLIP、RoBERTa、BERTなどの事前学習済みテキストエンコーダを用いて、タスクおよびクラスレベルの誘導の両方のための意味的埋め込みを提供する。
• 追加パラメータを追加せず、損失関数のみを統合することで、モデルに依存しない設計を維持する。

実験結果

リサーチクエスチョン

• RQ1 言語埋め込みは、継続的学習の各タスクにおける分離したクラス集合を統一する共有意味的空間として機能できるか？
• RQ2 プロンプトプールキーのレベルで言語誘導を導入することで、タスクの一般化性能が向上し、忘却が軽減されるか？
• RQ3 ビジョンエンコーダの出力特徴をクラスレベルの言語表現と一致させることで、分類精度と耐性が向上するか？
• RQ4 テキストエンコーダの選択（例：CLIP対BERT）が、言語誘導手法の性能にどのように影響するか？
• RQ5 プロンプトプールのキーが固定（freeze）されている場合でも、この手法は有効に機能するか？

主な発見

• Split CIFAR-100 において、LGCLは新たなSOTAを達成した。Dual Prompt + LGCL は、CLIP をテキストエンコーダとして使用した場合、平均精度87.23%、忘却率5.10%を達成した。
• より困難な Split ImageNet-R においても、LGCLは Dual Prompt の平均精度を69.46%から69.46%に改善し、忘却率を4.26%から4.20%に低下させた。タスクおよびクラスレベルの両方の誘導を適用した場合の結果である。
• アブレーションスタディにより、タスクレベルおよびクラスレベルの両方の言語誘導が不可欠であることが確認された。いずれかのコンponentを削除すると性能が低下した。
• CLIPのテキストエンコーダを使用すると最高の性能（87.23%の精度）を達成したが、BERT や RoBERTa でも強力な結果を示しており、テキストエンコーダの選択に対して頑健であることが示された。
• CLIPのテキストエンコーダのキーを固定した場合、学習可能なキー（87.23%精度）と比較して性能が低下（86.15%精度）した。これは、キー表現の最適化が有効であることを示している。
• 追加の可学習パラメータを一切追加せず、効率的かつリソース制約のある環境でも容易に展開可能な性能向上を達成した。