[論文レビュー] Split-and-Denoise: Protect large language model inference with local differential privacy

Peihua Mai, Ran Yan+3 more|arXiv (Cornell University)|Oct 13, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLM）推論における局所的微分プライバシー（LDP）を向上させるための新しいフレームワーク、Split-N-Denoise（SnD）を提案する。SnDはモデルを分割し、クライアント側でトークン埋め込みを計算・ノイズを付加して処理し、サーバー側で残りの推論を実行する。クライアント側では、事前学習済みのノイズ除去モデルがノイズレベルと元の入力を用いて精度を向上させる。同じプライバシー予算下で、ベースラインより平均10%以上の性能向上を達成する。

ABSTRACT

Large Language Models (LLMs) excel in natural language understanding by capturing hidden semantics in vector space. This process enriches the value of text embeddings for various downstream tasks, thereby fostering the Embedding-as-a-Service (EaaS) business model. However, the risk of privacy leakage due to direct text transmission to servers remains a critical concern. To address this, we introduce Split-N-Denoise (SnD), an private inference framework that splits the model to execute the token embedding layer on the client side at minimal computational cost. This allows the client to introduce noise prior to transmitting the embeddings to the server, and subsequently receive and denoise the perturbed output embeddings for downstream tasks. Our approach is designed for the inference stage of LLMs and requires no modifications to the model parameters. Extensive experiments demonstrate SnD's effectiveness in optimizing the privacy-utility tradeoff across various LLM architectures and diverse downstream tasks. The results reveal an improvement in performance under the same privacy budget compared to the baselines by over 10\% on average, offering clients a privacy-preserving solution for local privacy protection.

研究の動機と目的

• 機密性の高いユーザー入力がサーバーに送信される埋め込みサービス（EaaS）におけるプライバシー漏洩リスクを軽減すること。
• モデルパラメータの変更なしに、LLM推論中に強い局所的微分プライバシー（LDP）を実現すること。
• ノイズレベルの知識を活用したクライアント側のノイズ除去により、厳密なプライバシー予算下でもモデルの有用性を向上させること。
• ダウンストリームタスクでの高いパフォーマンスを維持しつつ、クライアント側の計算コストを最小限に抑えること。

提案手法

• LLM推論を2段階に分割：クライアントはトークン埋め込み層の計算のみを実行する。
• クライアント側の埋め込みに、適切に調整されたノイズを注入することで局所的微分プライバシーを適用する。
• 公開データと合成ノイズを用いて、サーバー側でノイズ除去モデルを事前学習し、摂動の逆方向処理を学習する。
• 事前学習済みのノイズ除去器をクライアント側にデプロイし、ノイズが加えられた埋め込みと元の入力を用いて、より高品質な表現を再構築する。
• プライバシーや有用性のトレードオフをさらに改善するために、プライバティズド埋め込みに対してノルムクリッピングを適用する。
• 微分プライバシーの事後処理特性を活用し、ノイズ除去プロセスがプライバシー保証を損なわないようにする。

実験結果

リサーチクエスチョン

• RQ1 ノイズレベルと元の入力の知識を活用したクライアント側のノイズ除去は、LLM推論におけるプライバティズド埋め込みの有用性を顕著に向上させることができるか？
• RQ2 さまざまなプライバシー予算下で、SnDの性能はサーバー側ノイズ除去およびベースラインLDP手法と比べてどのように異なるか？
• RQ3 SnDは、完全なモデル推論と比較して、クライアント側の計算コストをどの程度削減できるか？
• RQ4 極めて低いプライバシー予算（例：η ≤ 0.01）下でも、SnDは性能をどの程度維持できるか？

主な発見

• 同じプライバシー予算下で、SnDは既存のDPベースのベースラインと比較して、ダウンストリームタスクのパフォーマンスを平均10%以上向上させる。
• クライアント側のノイズ除去機構は、全評価対象のBERTモデルおよびタスクで、サーバー側ノイズ除去を10%以上上回る性能を示す。
• ノルムクリッピングを適用したSnDは、RTE、MRPC、QQPタスクでそれぞれ7.5%、15.5%、13.4%の精度向上を達成し、顕著な有用性の向上を示す。
• 極めて低いプライバシー予算（η = 0.001）下でもSnDは強力なパフォーマンスを維持し、AUCスコアはMRPCで0.617、RTEで0.576、QQPで0.639を記録。これはText2Text（AUC ~0.52）を著しく上回る。
• GPT2-Xlarge上で全モデル推論と比較して、SnDはクライアント側の計算コストとメモリコストをそれぞれ95.3%、93.5%まで削減する。