[論文レビュー] PromptFL: Let Federated Participants Cooperatively Learn Prompts Instead of Models -- Federated Learning in Age of Foundation Model

Tao Guo, Song Guo+2 more|arXiv (Cornell University)|Aug 24, 2022

Privacy-Preserving Technologies in Data被引用数 12

ひとこと要約

PromptFLは、CLIPのような基礎モデルを用いた共同プロンプトチューニングに従来のモデル学習を置き換える、画期的なフェデレーテッドラーニングフレームワークを提案する。これにより、エッジデバイス上で効率的でプライバシー保護型かつデータ効率の良い学習が可能になる。完全なモデルではなく、軽量なソフトプロンプトのみを学習することで、通信コストと計算コストを最大110倍まで削減し、最小限のパラメータで競争力のある精度を達成する。非IIDおよび少サンプル設定下でも同様の性能を示す。

ABSTRACT

Quick global aggregation of effective distributed parameters is crucial to federated learning (FL), which requires adequate bandwidth for parameters communication and sufficient user data for local training. Otherwise, FL may cost excessive training time for convergence and produce inaccurate models. In this paper, we propose a brand-new FL framework, PromptFL, that replaces the federated model training with the federated prompt training, i.e., let federated participants train prompts instead of a shared model, to simultaneously achieve the efficient global aggregation and local training on insufficient data by exploiting the power of foundation models (FM) in a distributed way. PromptFL ships an off-the-shelf FM, i.e., CLIP, to distributed clients who would cooperatively train shared soft prompts based on very few local data. Since PromptFL only needs to update the prompts instead of the whole model, both the local training and the global aggregation can be significantly accelerated. And FM trained over large scale data can provide strong adaptation capability to distributed users tasks with the trained soft prompts. We empirically analyze the PromptFL via extensive experiments, and show its superiority in terms of system feasibility, user privacy, and performance.

研究の動機と目的

• エッジデバイスにおける帯域制限と局所的データ不足によるフェデレーテッドラーニングの通信コストと計算コストの高さを解消すること。
• 基礎モデルが、プロンプトチューニングを通じて、効率的でプライバシー保護型かつデータ効率の良いフェデレーテッドラーニングを可能にするかを検討すること。
• 現実のエッジ環境における、プロンプトベースのFLフレームワークの実現可能性、パフォーマンス、プライバシー保証を評価すること。
• IIDおよび非IIDデータ分布下での標準FLベースラインと比較して、PromptFLのパフォーマンスと効率性を評価すること。
• データ分布、ショット数、クライアント数がプロンプト学習の安定性と精度に与える影響を分析すること。

提案手法

• PromptFLは、フェデレーテッドモデル学習を、連続的で柔軟なソフトプロンプトの共同学習に置き換える。事前に学習済みの基礎モデル（例：CLIP）を共有のバックボーンとして利用する。
• 各クライアントは、ローカルデータ上でソフトプロンプトトークンのみをファインチューニングし、基礎モデルの重みは固定されたままにする。
• グローバルアグリゲーションは、全モデル重みではなく、クライアント間のプロンプトパラメータの勾配を平均することで実行する。
• フレームワークは、オフザシェルの基礎モデルとしてCLIPを採用し、プロンプトチューニングによりゼロショット一般化と強力な少サンプル適応を実現する。
• 通信オーバーヘッドは著しく削減され、1ラウンドあたり送信されるのは、全モデルサイズの0.01%〜0.1%に過ぎない小さなプロンプトパラメータのみである。
• GPUメモリ使用量の削減と収束速度の向上により、トレーニングが加速され、PromptFLは標準FLの半分のラウンド数で収束を達成する。

実験結果

リサーチクエスチョン

• RQ1 基礎モデルを用いたプロンプトチューニングにより、モデルパフォーマンスを維持したまま、フェデレーテッドラーニングにおける通信コストと計算コストを顕著に削減できるか？
• RQ2 標準FLが苦戦する非IIDおよび少サンプルデータ設定下で、PromptFLはどのように性能を発揮するか？
• RQ3 クラスの重複とデータ分布のシフトが、プロンプトベースのフェデレーテッドラーニングの安定性と精度に与える影響は何か？
• RQ4 クライアント数とショット数が、PromptFLのパフォーマンスと収束に与える影響は何か？
• RQ5 標準フェデレーテッドラーニングと比較して、PromptFLはどれほどユーザーのプライバシーを保護するか？

主な発見

• PromptFLは、全モデル重みの送信ではなく小さなプロンプトパラメータのみを送信するため、標準的ファインチューニングと比較して1ラウンドあたりの通信コストを最大110倍まで削減する。
• PromptFLは、標準FLの半分のトレーニングラウンド数で収束を達成するため、トレーニングが顕著に高速化される。
• 全モデルの学習可能なパラメータの0.01%〜0.1%のわずかなパラメータで、IIDおよび非IIDデータ設定下で競争力のある精度とF1スコアを達成する。
• クラス重複比が0%〜50%に変動しても性能は安定しており、50%重複時でのみわずかな向上が見られる。これは、データ分布のシフトに対して強い耐性を示している。
• 少サンプル設定（2〜16ショット）では、ショット数が増えるほど性能が向上し、十分なクラスカバレッジがある場合、16ショットでCaltech101で約89%の精度に安定する。
• クライアント数を16から64に拡張しても、各クライアントが十分なクラスカバレッジを持っている限り、性能は一貫して維持される。これは、スケーラビリティと耐性の両面で優れた性能を示している。