[論文レビュー] FedPrompt: Communication-Efficient and Privacy Preserving Prompt Tuning in Federated Learning

Haodong Zhao, Wei Du+3 more|arXiv (Cornell University)|Aug 25, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

FedPromptは、大規模事前学習言語モデル（PLM）の重みを凍結し、ソフトプロンプトのみをチューニングすることで、通信コストを全モデルパラメータの0.01%にまで削減する、通信効率的かつプライバシー保護型のフェデレーテッドラーニングフレームワークを提案する。この手法は、IIDおよびNon-IIDデータの両方で高い精度を達成し、標準的なバックドア攻撃に対しても頑健である。さらに、微分プライバシーを適用することでセキュリティが強化される。

ABSTRACT

Federated learning (FL) has enabled global model training on decentralized data in a privacy-preserving way by aggregating model updates. However, for many natural language processing (NLP) tasks that utilize pre-trained language models (PLMs) with large numbers of parameters, there are considerable communication costs associated with FL. Recently, prompt tuning, which tunes some soft prompts without modifying PLMs, has achieved excellent performance as a new learning paradigm. Therefore we want to combine the two methods and explore the effect of prompt tuning under FL. In this paper, we propose "FedPrompt" to study prompt tuning in a model split aggregation way using FL, and prove that split aggregation greatly reduces the communication cost, only 0.01% of the PLMs' parameters, with little decrease on accuracy both on IID and Non-IID data distribution. This improves the efficiency of FL method while also protecting the data privacy in prompt tuning. In addition, like PLMs, prompts are uploaded and downloaded between public platforms and personal users, so we try to figure out whether there is still a backdoor threat using only soft prompts in FL scenarios. We further conduct backdoor attacks by data poisoning on FedPrompt. Our experiments show that normal backdoor attack can not achieve a high attack success rate, proving the robustness of FedPrompt. We hope this work can promote the application of prompt in FL and raise the awareness of the possible security threats.

研究の動機と目的

• 大規模事前学習言語モデル（PLM）のフェデレーテッドラーニングにおいて、全モデルパラメータの代わりにソフトプロンプトのみをチューニングすることで、通信オーバーヘッドを低減すること。
• 生データの交換を避け、モデルパラメータの送信を最小限に抑えることで、データプライバシーを保護すること。
• 特にデータポisoningを用いた攻撃を想定し、プロンプトベースのフェデレーテッドラーニングのセキュリティを評価すること。
• 微分プライバシー（LDP）が、FedPromptにおけるソフトプロンプトの更新を保護する有効性を調査すること。
• 既存のプロンプトチューニング手法（例：P-tuning, Prefix-Tuning）と比較して、精度および通信効率の観点からFedPromptの性能を評価すること。

提案手法

• FedPromptは、PLMの重みを凍結し、クライアント間でソフトプロンプトのみをトレーニングおよび集約する分割集約戦略を採用する。
• ソフトプロンプトはトレーニング可能な埋め込みとして初期化され、入力トークンの前に挿入され、ラベル語の予測に[MASK]トークンが使用される。
• グローバルモデルはFedAvgを用いて更新され、集約および再配布されるのはソフトプロンプトパラメータのみである。
• ソフトプロンプトの勾配に対して微分プライバシー（ラプラスノイズ）を適用することで、勾配逆算攻撃から防御する。
• バックドア攻撃は、悪意あるクライアントがトレーニングデータにトリガーを注入することで、グローバルプロンプトにバックドアを埋め込むデータポisoningを用いて評価される。
• 複数の自然言語処理タスクおよびモデルにおいて、FedPromptをフルファインチューニングおよび他のプロンプトチューニング手法（P-tuning, Prefix-Tuning）と比較する実験が実施された。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるプロンプトチューニングは、高いモデル精度を維持しつつ、通信コストを著しく削減できるか？
• RQ2 FedPromptはIIDおよびNon-IIDのデータ分布設定下でも性能を発揮するか？
• RQ3 ソフトプロンプトをクライアント間で共有する場合、FedPromptはバックドア攻撃に対して脆弱であるか？
• RQ4 微分プライバシー（LDP）は、モデル性能を著しく低下させることなく、ソフトプロンプトの更新を効果的に保護できるか？
• RQ5 精度および通信効率の観点から、他のプロンプトチューニング手法（例：P-tuning, Prefix-Tuning）と比較して、FedPromptはどのように差をつけるか？

主な発見

• FedPromptは、全PLMファインチューニングに比べ通信コストを0.01%まで削減し、BERTを用いたSST-2では90.16%の精度を達成した。
• IIDおよびNon-IIDのデータ分布の両方において、複数のモデルで高い精度（ROBERTAでは92.43%、T5では92.69%）を維持した。
• データポisoningによるバックドア攻撃は、悪意あるクライアントでは100%の成功率を示したが、健全なクライアントおよびグローバルモデルでは効果を示さず、強力な頑健性を示した。
• ラプラスノイズ（LDP）を適用すると精度が約5%低下するが、勾配逆算攻撃に対する防御として効果的であった。
• プロンプトチューニング手法の比較において、標準的なプロンプトチューニング（FedPrompt）が、精度と通信コストの両面で最良のバランスを達成しており、P-tuningやPrefix-Tuningを効率面で上回った。
• FedPromptの最適なローカルトレーニングイテレーション数は約1000～1500である。それ未満では収束が遅くなり、多すぎるとローカル過学習のリスクが高まる。