[論文レビュー] FedBPT: Efficient Federated Black-box Prompt Tuning for Large Language Models

Jingwei Sun, Ziyue Xu+5 more|arXiv (Cornell University)|Oct 2, 2023

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

FedBPT は、モデルパラメータにアクセスせずに、大規模言語モデル（LLMs）のプライバシーを守りながら効率的なプロンプトチューニングを可能にする新しいフェデレーテッドラーニングフレームワークである。勾配フリー最適化（CMA-ES）を用いてローカルでプロンプトを最適化し、モデルパラメータではなく低次元のプロンプトベクトルのみを交換することで、勾配ベースのベースラインと比較して通信コストを50万倍以上、メモリ使用量を3倍削減した。同時に、最先端の手法と同等の精度を達成した。

ABSTRACT

Pre-trained language models (PLM) have revolutionized the NLP landscape, achieving stellar performances across diverse tasks. These models, while benefiting from vast training data, often require fine-tuning on specific data to cater to distinct downstream tasks. However, this data adaptation process has inherent security and privacy concerns, primarily when leveraging user-generated, device-residing data. Federated learning (FL) provides a solution, allowing collaborative model fine-tuning without centralized data collection. However, applying FL to finetune PLMs is hampered by challenges, including restricted model parameter access, high computational requirements, and communication overheads. This paper introduces Federated Black-box Prompt Tuning (FedBPT), a framework designed to address these challenges. FedBPT does not require the clients to access the model parameters. By focusing on training optimal prompts and utilizing gradient-free optimization methods, FedBPT reduces the number of exchanged variables, boosts communication efficiency, and minimizes computational and storage costs. Experiments highlight the framework's ability to drastically cut communication and memory costs while maintaining competitive performance. Ultimately, FedBPT presents a promising solution for efficient, privacy-preserving fine-tuning of PLM in the age of large language models.

研究の動機と目的

• クライアントがモデルパラメータにアクセスできないフェデレーテッドラーニング環境において、大規模言語モデル（LLMs）のファインチューニングに直面する計算・ストレージ・通信コストの高い課題に対処すること。
• バックプロパゲーションやパラメータの更新を必要とせず、推論アクセスのみでブラックボックスLLMsの効率的かつプライバシーを守った適応を可能にすること。
• モデル重みや勾配（数百万〜数十億のパラメータ）ではなく、プロンプトベクトル（数100パラメータ）のみを交換することで、FLにおける通信オーバーヘッドを低減すること。
• 勾配ベースのファインチューニング手法と同等のパフォーマンスを維持しながら、スマートフォンやARヘッドセットなどのリソース制限のあるエッジデバイスでも実行可能であること。
• モデルサイズに関係なくトレーニング可能なパラメータ数を一定に保つことで、大規模LLMsへのスケーラビリティを確保すること。

提案手法

• クライアントは、モデルパラメータにアクセスせず、バックプロパゲーションも行わず、勾配フリー最適化手法CMA-ESを用いてローカルでプロンプト最適化を実行する。
• ローカル学習中は、凍結されたLLMを前方伝搬するのみであり、エッジデバイスにおける計算コストとストレージコストを最小限に抑える。
• サーバーは、ローカルで最適化されたプロンプト分布を集約し、次回のラウンド用にグローバルプロンプト分布をクライアントに送信する。
• ローカルプロンプト探索中の過学習を防ぐために、入力トークンに制御可能なゼロ率（$r_p$）を持つバイナリマスクを適用する。
• 埋め込み空間をより小さな空間に射影する低次元の射影行列を用いることで、コンactなプロンプトベクトル上で効率的なCMA-ES最適化を可能にする。
• フレームワークは、モデル重みや勾配ではなく、プロンプトパラメータ（例：500パラメータ）のみを交換することで、通信量を著しく削減する。

実験結果

リサーチクエスチョン

• RQ1 モデルパラメータへのアクセスなしに、フェデレーテッド環境で勾配フリー最適化を用いてプロンプトをチューニングすることが有効に機能するか。
• RQ2 競争力のあるパフォーマンスを維持しながら、フェデレーテッドLLMファインチューニングにおける通信コストとメモリコストをどの程度まで削減できるか。
• RQ3 非IIDデータ分布下でのFedBPTのパフォーマンスは、勾配ベースおよび手動プロンプトベースラインと比べてどの程度か。
• RQ4 LLMのサイズが増大するに伴い、FedBPTは計算コストと通信コストを低く保ちながら効率的にスケーリングできるか。
• RQ5 ローカル集団サイズ（$\lambda_k$）やマスクレート（$r_p$）といったハイパーパramータが、モデルの精度と頑健性に顕著に影響を与えるか。

主な発見

• FedBPT は、1ラウンドあたり約2GBのデータを送信するFedP-tuningなどの勾配ベース手法と比較して、プロンプトパラメータのみ4KBを交換することで、通信コストを50万倍以上削減した。
• 追加の効率的推論技術を用いなくても、FedBPT は勾配ベース手法と比較して、メモリフットプリントを3倍以上削減した。
• 非IID設定下では、SST-2、AG’s News、Yelpの各データセットで、手動プロンプトと比較してそれぞれ12%、11%、13%の精度向上を達成した。
• 特に勾配ベースの手法が著しく性能を落とす非IID環境下でも、FedBPT はFedPrompt や FedP-tuning と同等の精度を達成しており、それらを上回ることもあった。
• FedBPT のモデル精度はローカル集団サイズ（$\lambda_k$）にあまり依存しないため、計算コストを低減するために小さい値（例：5〜20）に設定可能である。
• $r_p = 0.6$ のランダムバイナリマスクを適用することで、$r_p = 0$ のヴァリアント（vanilla BBT）と比較して、最大1.6%の精度向上が見られ、局所的過学習の緩和効果が実証された。