[論文レビュー] AttriCLIP: A Non-Incremental Learner for Incremental Knowledge Learning

Runqi Wang, Xiaoyue Duan+6 more|arXiv (Cornell University)|May 19, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

AttriCLIPは、固定されたCLIPバックボーンを活用し、固定された属性語彙からタスク固有の属性プロンプトを学習する非増分的継続的学習フレームワークを提案する。パラメータ拡張やリプレイメモリの必要性を排除し、ゼロショット分類に動的で属性ベースのテキストプロンプトを用いることで、長期間にわたるシーケンス的でドメインシフトを伴うベンチマークで最先端の性能を達成する。

ABSTRACT

Continual learning aims to enable a model to incrementally learn knowledge from sequentially arrived data. Previous works adopt the conventional classification architecture, which consists of a feature extractor and a classifier. The feature extractor is shared across sequentially arrived tasks or classes, but one specific group of weights of the classifier corresponding to one new class should be incrementally expanded. Consequently, the parameters of a continual learner gradually increase. Moreover, as the classifier contains all historical arrived classes, a certain size of the memory is usually required to store rehearsal data to mitigate classifier bias and catastrophic forgetting. In this paper, we propose a non-incremental learner, named AttriCLIP, to incrementally extract knowledge of new classes or tasks. Specifically, AttriCLIP is built upon the pre-trained visual-language model CLIP. Its image encoder and text encoder are fixed to extract features from both images and text. Text consists of a category name and a fixed number of learnable parameters which are selected from our designed attribute word bank and serve as attributes. As we compute the visual and textual similarity for classification, AttriCLIP is a non-incremental learner. The attribute prompts, which encode the common knowledge useful for classification, can effectively mitigate the catastrophic forgetting and avoid constructing a replay memory. We evaluate our AttriCLIP and compare it with CLIP-based and previous state-of-the-art continual learning methods in realistic settings with domain-shift and long-sequence learning. The results show that our method performs favorably against previous state-of-the-arts. The implementation code can be available at https://github.com/bhrqw/AttriCLIP.

研究の動機と目的

• モデルパラメータの拡張なしに、継続的学習における災難的忘却と分類器バイアスを解消する。
• 事前学習済みの視覚言語モデルを活用し、動的プロンプトチューニングを用いることで、リプレイメモリの必要性を排除する。
• 初期事前学習後、モデルパラメータを固定したまま、非増分的な方法で段階的な知識学習を可能にする。
• 属性に配慮したテキスト的監視を用いて、長期間にわたるシーケンス的でドメインシフトを伴う継続的学習のシナリオにおける一般化性能と安定性を向上させる。
• 視覚またはテキストエンコーダーのファインチューニングなしに、新規クラスに適応可能なプロンプトベースのフレームワークを開発する。

提案手法

• CLIPの固定された画像およびテキストエンコーダーを特徴抽出器として利用する。
• キー（属性）とプロンプト（チューナブルなテキスト記述）のペアからなる学習可能な属性語彙バンクを導入する。ここでキーは画像の属性を表し、プロンプトはチューニング可能なテキスト記述である。
• 入力画像ごとに、画像属性特徴とキー埋め込みの類似度に基づいて上位k個のプロンプトを選択する。
• 選択されたプロンプトをクラス名と連結し、対照的分類用の動的テキスト記述を構築する。
• CLIPエンコーダーを固定したまま、プロンプトパラメータのみをエンドツーエンドで訓練する。
• 画像特徴と組み合わせたテキスト表現（クラス名＋選択されたプロンプト）の間で対照的損失を用いて分類を行う。

実験結果

リサーチクエスチョン

• RQ1 非増分的学習者が、パラメータ拡張やリプレイメモリなしに安定した継続的学習を達成できるか？
• RQ2 属性ベースのプロンプトチューニングは、長期間にわたるシーケンス的でドメインシフトを伴う継続的学習において、災難的忘却を効果的に緩和できるか？
• RQ3 ゼロショットおよび少数ショットの継続的学習設定において、AttriCLIPの性能は最先端の手法と比べてどの程度優れているか？
• RQ4 学習されたプロンプトが、さまざまな画像カテゴリにわたって意味的でクラス判別可能な属性をどれほど適切に捉えているか？
• RQ5 固定サイズの属性語彙バンクは、災難的忘却を起こさずに、順次到着する多様なデータセットに一般化できるか？

主な発見

• ImageNet100で事前学習した後、CIFAR100で段階的に学習した場合、AttriCLIPはリプレイメモリを一切使用せず、82.3%の平均精度を達成し、CLIPベースおよび先行の最先端手法を上回る。
• ImageNet100 + CIFAR100の長期間シーケンスベンチマークでは、AttriCLIPは78.3%の精度を達成し、DualPrompt（67.1%）およびL2P（64.6%）を顕著に上回る。
• ImageNet100ベンチマークにおいて、ImageNet100からのファインチューニング後、AttriCLIPは90.3%の精度を達成し、優れた安定性と低い忘却性能を示す。
• 本手法は、以前に見られなかったドメインに対しても、最小限の性能低下で一般化を示す。
• Grad-CAMによる可視化により、学習されたプロンプトが「帽子」や「芝生の上に横たわっている」などの意味的に意味のある画像属性に注目していることが確認された。
• AttriCLIPは分類器バイアスとパラメータの増加を回避し、継続的学習の全過程で固定されたモデルサイズを維持する。