[論文レビュー] Privacy-Preserving In-Context Learning for Large Language Models

Tong Wu, Ashwinee Panda+2 more|arXiv (Cornell University)|May 2, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、異なる exemplar サブセットにおけるアンサンブル推論と、集約された応答への微分プライバシーの適用により、文脈内学習における機微な情報を保護するフレームワークである Differentially Private In-Context Learning (DP-ICL) を提案する。強力なプライバシー・ユーティリティトレードオフを達成しており、性能の低下がほぼゼロに近い—例として、ε=3 の条件下で SST-2 で 95.80% の精度を達成—、プライベートデータを含む実世界の LLM デプロイに実用的である。

ABSTRACT

In-context learning (ICL) is an important capability of Large Language Models (LLMs), enabling these models to dynamically adapt based on specific, in-context exemplars, thereby improving accuracy and relevance. However, LLM's responses may leak the sensitive private information contained in in-context exemplars. To address this challenge, we propose Differentially Private In-context Learning (DP-ICL), a general paradigm for privatizing ICL tasks. The key idea for DP-ICL paradigm is generating differentially private responses through a noisy consensus among an ensemble of LLM's responses based on disjoint exemplar sets. Based on the general paradigm of DP-ICL, we instantiate several techniques showing how to privatize ICL for text classification and language generation. We evaluate DP-ICL on four text classification benchmarks and two language generation tasks, and our empirical results show that DP-ICL achieves a strong utility-privacy tradeoff.

研究の動機と目的

• 文脈内学習 (ICL) におけるプライバシー漏洩を解消すること、特にプロンプト内の機微な exemplar がプロンプト漏洩攻撃によって抽出されるのを防ぐこと。
• モデルのファインチューニングを必要とせず、アーキテクチャの変更なしに、一般化可能で即座に利用可能な、ICL における微分プライバシーのパラダイムを構築すること。
• 強力なプライバシー保証を維持しながら、テキスト分類および言語生成タスクにおける高いユーティリティを維持すること。
• 多様なベンチマークおよびモデルスケールを対象に、プライバシー（ε）とパフォーマンスのトレードオフを評価すること。

提案手法

• プライベートな exemplar セットを互いに排他的なサブセットに分割し、並列推論を実行する。
• 各サブセットで独立にモデル応答を生成し、予測のアンサンブルを構築する。
• テキスト分類の場合は、投票ヒストグラムにガウスノイズを適用して Report-Noisy-Max を適用し、多数決クラスをプライベートに公開する。
• 言語生成の場合は、2つの集約手法を提案する：埋め込み空間集約（ESA）、生成出力の意味的埋め込みをプライベート化する手法、およびキーワード空間集約（KSA）、PTR や結合指数的メカニズムを用いて頻出キーワードをプライベートに選択する手法。
• 微分プライバシーのメカニズム（例：提案・テスト・リリース、指数的メカニズム）を用い、応答集約中にプライバシー予算が守られることを保証する。
• ユーザーに返されるのは、唯一の exemplar が応答を支配しないように、微分プライベートに集約された出力のみである。

実験結果

リサーチクエスチョン

• RQ1 モデルのファインチューニングやアーキテクチャの変更なしに、文脈内学習を微分プライベート化することは可能か？
• RQ2 言語生成タスクの高次元的・無限出力空間に、微分プライバシーを効果的に適用する方法は何か？
• RQ3 テキスト分類や要約などの多様な NLP タスクにおける DP-ICL のユーティリティ・プライバシートレードオフはいかほどか？
• RQ4 モデルスケール、exemplar の数、サブサンプリングレートは、DP-ICL のパフォーマンスとコストにどのように影響するか？
• RQ5 実世界の応用において、強力なプライバシー保証（例：ε ≤ 3）を維持しながら、高いユーティリティを維持できるか？

主な発見

• SST-2 テキスト分類ベンチマークにおいて、DP-ICL は ε=3 の条件下で 95.80% の精度を達成し、非プライベートベースラインと同等の性能を示した。
• ドキュメント要約（SAMsum）においては、ε=1 の厳密なプライバシー予算下でも ROUGE スコアの低下は約 1% にとどまった。
• ε=∞ の条件下では、文脈内 exemplar の数が 1 から 16 に変化してもパフォーマンスが安定したが、8 ショットおよび 16 ショットではサブサンプリングに起因するノイズ増加により約 10–20% の低下が生じた。
• サブサンプリングレート 0.5×10⁻² が、パフォーマンス・コストのバランスにおいて最適であり、GPT-3 Babbage を用いて SST-2 で 100 回の予測に対してわずか $0.0945 のコストで実現された。
• キーワード空間集約（KSA）は PTR を用いて、ドキュメント質問応答タスクで ESA を上回り、最大 10⁶ クエリまで安定したパフォーマンスを維持した。
• 大規模モデル（例：Davinci）では DP-ICL のパフォーマンスが向上し、SST-2 において ε=1 の下で、Ada の 73.31% から Davinci の 95.11% まで精度が上昇した。これはスケーラビリティの利点を示唆している。