[論文レビュー] EmojiPrompt: Generative Prompt Obfuscation for Privacy-Preserving Communication with Cloud-based LLMs

Lin Guo, Wenyue Hua+4 more|arXiv (Cornell University)|Feb 8, 2024

DNA and Biological ComputingBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

EmojiCrypt は、大規模言語モデル（LLM）の対話において、機微なユーザー入力を絵文字のシーケンスに変換することで、プライバシーを守るプロンプトの難読化技術である。これにより、LLM は正確な出力を生成できる一方で、元のデータは人間や LLM 提供者にとって解読不能となる。微調整を伴わず、同等またはより優れたタスクパフォーマンスを達成し、パフォーマンス劣化を最小限に抑えつつ強力なプライバシー保護を実現する。

ABSTRACT

Cloud-based Large Language Models (LLMs) such as ChatGPT have become increasingly integral to daily operations. Nevertheless, they also introduce privacy concerns: firstly, numerous studies underscore the risks to user privacy posed by jailbreaking cloud-based LLMs; secondly, the LLM service providers have access to all user data, which deters individuals from confidently utilizing such services. To address such concerns, we propose a simple yet effective paradigm, EmojiPrompt, to protect user privacy. At its core, EmojiPrompt performs generative transformation, obfuscating private data within prompts with linguistic and non-linguistic elements before submitting them to cloud-based LLMs. We evaluate EmojiPrompt's performance across 8 datasets from various domains. We also propose simulated inference attacks to assess EmojiPrompt's ability to preserve user privacy. The results demonstrate that EmojiPrompt effectively obfuscates user private data, while largely maintaining, or even enhancing, performances compared to the unobfuscated version. Furthermore, EmojiPrompt's atomic-level obfuscation allows it to function exclusively with cloud-based LLMs. For source code, please refer to: https://github.com/agiresearch/EmojiCrypt.

研究の動機と目的

• 暗号化された送信および保存にもかかわらず、サービスプロバイダーに機微なユーザーデータが露出するクラウドベース LLM におけるプライバシーリスクに対処すること。
• 出力品質に影響を与えることなく、人間の観察者および LLM 自身からも機微な情報を隠蔽する手法を開発すること。
• 個人的または機密性の高いデータを意味的に曇らされた絵文字シーケンスに変換することで、LLM との安全でプライベートな通信を可能にすること。
• 暗号化されたプロンプトが、元の機微なコンテンツの再構築を防ぎつつ、高いタスク正確性を維持できるかどうかを評価すること。
• モデルの微調整や LLM の推論プロセスの変更なしに、プロンプト暗号化が有効に機能することを実証すること。

提案手法

• 機微な要素（名前、製品タイトル、個人的属性など）を、事前に訓練された LLM をエンコーダーとして用いて、絵文字のシーケンスに変換する。
• LLM エンコーダーは、自然言語入力を、LLM にとっては意味的に意味のあるが、人間には理解不能な絵文字表現にマッピングする。
• 難読化された絵文字プロンプトは、微調整なしに、ターゲット LLM（例：GPT-4 または Gemini-Pro）に送信され、下流タスクの実行が行われる。
• 復号化評価として、別の LLM（例：GPT-4）に、絵文字シーケンスから元のテキストを再構築するようプロンプトを出し、コサイン類似度で類似度を測定する。
• 耐性の評価は、再構築されたテキストと元のテキストとの類似度を比較し、同じデータセットからのランダムサンプルを用いて安全閾値を計算することで、無関係性のベースラインを確立する。
• 本手法は、eコマース推薦（Amazon Beauty）、センチメント分析（IMDB）、金融状態分類（Census Income）という3つのタスクで評価され、エンコーダーに GPT-4 および Gemini-Pro を、デコーダーに GPT-4 を使用する。

実験結果

リサーチクエスチョン

• RQ1 絵文字ベースのプロンプト難読化は、人間および LLM 提供者から機微なユーザー情報を効果的に隠蔽しつつ、モデルが正確な応答を生成できる能力を維持できるか？
• RQ2 LLM アプリケーションにおいて、絵文字で暗号化されたプロンプトは、暗号化されていないプロンプトと比較して、タスクパフォーマンスを維持または向上させることができるか？
• RQ3 元の機微なコンテンツが、絵文字暗号化プロンプトからどの程度再構築可能か、これは難読化の強度を示す。
• RQ4 異なる LLM（例：GPT-4 対 Gemini-Pro）および異なるデータタイプ（再利用可能 vs. 再利用不可テキスト）において、暗号化・復号パイプラインのパフォーマンスはどのように変化するか？
• RQ5 本手法は、モデルの微調整やアーキテクチャの変更なしに、多様な NLP タスクに普遍的に適用可能か？

主な発見

• GPT-4 をエンコーダーおよびデコーダーに使用した場合、Amazon Beauty データセットでは、元の製品タイトルと再構築されたタイトル間のコサイン類似度が 0.567 に達したが、最適な安全閾値 0.307 よりも顕著に低い水準にあり、強力な難読化が実現していることが示された。
• IMDB レビュー データセットでは、GPT-4 + GPT-4 の場合類似度スコアが 0.755、Gemini + GPT-4 の場合が 0.607 であり、両者とも最適な安全閾値 0.411 を上回っており、再構築されたテキストが元のテキストとは意味的に明確に異なることが確認された。
• Census Income データセットでは、GPT-4 + GPT-4 の場合類似度スコアが 0.461、Gemini + GPT-4 の場合が 0.467 であり、両者とも最適な安全閾値 0.295 を上回っており、効果的なデータマスキングが実現した。
• すべての3つのタスク（パーソナライズド推薦、センチメント分析、表形式データ分析）において、EmojiCrypt は微調整を要せず、暗号化されていないプロンプトと同等またはそれ以上のタスク正確性を維持した。
• 平均的な類似度が、同じデータセットからのランダムサンプルと比較して安全閾値を下回ったことから、元の機微なコンテンツの再構築が効果的に防止されており、耐性が確認された。
• 結果から、LLM は絵文字暗号化プロンプトを高い忠実度で処理でき、絵文字表現の外見上のランダム性にもかかわらず、意味情報が難読化プロセス中に保持されていることが示された。