[論文レビュー] Text-driven Prompt Generation for Vision-Language Models in Federated Learning

Qiu Chen, Xingyu Li+5 more|arXiv (Cornell University)|Oct 9, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、フェデレーテッドラーニングにおける複数のクライアントに跨って統一的で文脈に配慮したプロンプト生成器を学習する新規手法、Federated Text-driven Prompt Generation (FedTPG) を提案する。タスク固有のテキスト入力を条件としてプロンプト生成を行うことで、FedCoOpと比較して未学習クラスで4.32%、未学習データセットで1.82%高い精度を達成し、再トレーニングを伴わずに優れたゼロショット一般化性能を示す。

ABSTRACT

Prompt learning for vision-language models, e.g., CoOp, has shown great success in adapting CLIP to different downstream tasks, making it a promising solution for federated learning due to computational reasons. Existing prompt learning techniques replace hand-crafted text prompts with learned vectors that offer improvements on seen classes, but struggle to generalize to unseen classes. Our work addresses this challenge by proposing Federated Text-driven Prompt Generation (FedTPG), which learns a unified prompt generation network across multiple remote clients in a scalable manner. The prompt generation network is conditioned on task-related text input, thus is context-aware, making it suitable to generalize for both seen and unseen classes. Our comprehensive empirical evaluations on nine diverse image classification datasets show that our method is superior to existing federated prompt learning methods, that achieve overall better generalization on both seen and unseen classes and is also generalizable to unseen datasets.

研究の動機と目的

• ビジョン・ランゲージモデルにおける、既存のフェデレーテッドプロンプト学習手法が未学習クラスやタスクに対して一般化性能に欠ける問題を解決すること。
• CLIPのようなビジョン・ランゲージモデルが、フェデレーテッド環境下で多様で未学習の画像分類データセットに効果的に一般化できるようにすること。
• 生データを共有せずに、リモートに分散したクライアント間で統一されたプロンプト生成器を学習できるスケーラブルで協調的な手法を開発すること。
• 固定されたプロンプトベクトルを学習するのではなく、意味的タスク記述に条件づけたプロンプト生成により、プロンプト学習を改善すること。
• 見慣れたクラスおよび未学習クラスの両方で高い性能を達成し、新しいドメインへのゼロショット転送を実現すること。

提案手法

• タスク関連のテキスト入力（例：クラス名や説明）を、CLIP用の文脈に配慮したプロンプトベクトルに変換するテキスト駆動型プロンプト生成器（TPG）を訓練する。
• 各クライアントが異なる画像分類データセットを保有する複数のクライアント間で、ローカルデータとモデル更新のみを用いてフェデレーテッドにプロンプト生成器を訓練する。
• 各クライアントは、少数のショット画像・テキストペアを用いてローカルにプロンプト生成器を最適化し、その後モデル重みを中央サーバーに送信して集約する。
• グローバルプロンプト生成器は、意味的テキスト入力をタスク固有のプロンプトベクトルにマッピングする能力を学習し、異なるドメインや文脈間での一般化を可能にする。
• テキスト埋め込みに条件づけられたプロンプトベクトルを生成する軽量ニューラルネットワークを用い、CLIPのフリーズされたバックボーンを維持することで効率性を確保する。
• データ制限および通信制限のあるフェデレーテッド環境下で、対照学習とプロンプトチューニングを活用してCLIPを効果的に適応させる。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドプロンプト生成手法は、固定プロンプト学習よりもビジョン・ランゲージモデルにおける未学習クラスの一般化性能を向上させることができるか？
• RQ2 タスク固有のテキストに条件づけたプロンプト生成は、多様な画像分類データセット間でのゼロショット一般化をどのように向上させるか？
• RQ3 複数のクライアントに跨って訓練された統一的かつ協調的なプロンプト生成器は、既存のフェデレーテッドプロンプト学習ベースラインと比較して、一般化性能およびロバストネスにおいて優れているか？
• RQ4 提案手法は、クライアントのデータ分布の変動、ショット数、クライアント参加率の変化に対してどれほど感度を示すか？
• RQ5 プロンプト生成器は、物体認識やテクスチャ分類といった異なるドメインにおいて、テキスト文脈から効果的なプロンプトベクトルを生成する汎用関数を学習できるか？

主な発見

• FedTPGは9つのデータセット全体で、FedCoOpと比較して未学習クラスで平均4.32%の向上を達成し、強力なゼロショット一般化性能を示す。
• 未学習データセットにおいて、FedTPGはFedCoOpを平均1.82%上回り、新しいドメインへの強力な転送性を示す。
• クライアントのデータ分布の変化に対しても一貫した性能を維持し、クライアントクラス数が5から20に増加するにつれて、調和平均精度が73.07%から74.83%に上昇する。
• 1ショットを超える場合、FedTPGはFedKgCoOpを上回る性能を示し、ショット数の増加に伴い性能が向上する。
• クライアント参加率が10%から100%に変動しても、FedCoOpおよびFedKgCoOpを一貫して上回るロバストネスを示す。
• 可視化により、ImageNetからのプロンプトベクトルが他のデータセットに対してもうまく一般化され、異なるドメイン間でクラスタが一致していることが確認され、強力なクロスデータセット転送性が裏付けられる。