[論文レビュー] Protecting User Privacy in Remote Conversational Systems: A Privacy-Preserving framework based on text sanitization

Zhigang Kan, Linbo Qiao+4 more|arXiv (Cornell University)|Jun 14, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、ユーザー定義のプライバシー種別に基づき、大規模言語モデルに入力を送信する前に複数ラウンドのテキスト洗浄を適用することで、リモート会話型AIシステムにおけるユーザーの個人情報を保護するプライバシー保護フレームワークPP-TSを提案する。プライバシー保護の高さ（95.96% PRR）を達成しつつ、データユーティリティへの影響を最小限に抑え（92.33% DUR）、論理的推論攻撃に対する耐性を高めるために妥当性チェックメカニズムを導入している。

ABSTRACT

Large Language Models (LLMs) are gaining increasing attention due to their exceptional performance across numerous tasks. As a result, the general public utilize them as an influential tool for boosting their productivity while natural language processing researchers endeavor to employ them in solving existing or new research problems. Unfortunately, individuals can only access such powerful AIs through APIs, which ultimately leads to the transmission of raw data to the models' providers and increases the possibility of privacy data leakage. Current privacy-preserving methods for cloud-deployed language models aim to protect privacy information in the pre-training dataset or during the model training phase. However, they do not meet the specific challenges presented by the remote access approach of new large-scale language models. This paper introduces a novel task, "User Privacy Protection for Dialogue Models," which aims to safeguard sensitive user information from any possible disclosure while conversing with chatbots. We also present an evaluation scheme for this task, which covers evaluation metrics for privacy protection, data availability, and resistance to simulation attacks. Moreover, we propose the first framework for this task, namely privacy protection through text sanitization. Before sending the input to remote large models, it filters out the sensitive information, using several rounds of text sanitization based on privacy types that users define. Upon receiving responses from the larger model, our framework automatically restores privacy to ensure that the conversation goes smoothly, without intervention from the privacy filter. Experiments based on real-world datasets demonstrate the efficacy of our privacy-preserving approach against eavesdropping from potential attackers.

研究の動機と目的

• APIを介してリモートの大規模言語モデルと対話するユーザーにおけるプライバシー漏洩リスクの増大に取り組む。
• リモートモデルアクセスのシナリオにおいて、非構造的で自然言語の入力データを保護する上での独自の課題を特定する。
• プライバシー保護、データ可用性、シミュレーション攻撃への耐性をカバーする包括的な評価スキームを構築する。
• ユーザー入力を洗浄し、モデルの応答においても自動的にプライバシーを回復させる、画期的なフレームワークを提案することで、会話の流れを維持する。

提案手法

• リモートモデルの呼び出し前に、ユーザーが定義したプライバシー種別に基づき、複数ラウンドのテキスト洗浄を適用して入力テキストからの機微情報をフィルタリングする。
• 文脈内学習を用いて、照合の直接的な一致を超えた手続き的検出により、プライバシー情報を検出・削除する。
• 洗浄されたテキストにおける意味的矛盾を低減し、推論攻撃を防止するために、妥当性チェックメカニズムを統合する。
• 逆洗浄プロセスを用いて、モデルの応答におけるプライバシーを自動的に回復させ、会話の整合性を維持する。
• プライバシー除去率（PRR）、データユーティリティ率（DUR）、および直接的および論理的推論攻撃への耐性を評価する3段階の評価スキームを活用する。
• イベント抽出のパフォーマンスを洗浄後にも評価するために、適合率、再現率、F1スコアの指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 提案されたフレームワークは、直接的および論理的推論に基づくシミュレーション攻撃の両方に対して、どの程度のプライバシー保護効果を示すか？
• RQ2 テキスト洗浄は、ユーザー入力およびモデル応答のデータユーティリティと意味的整合性に、どの程度の影響を与えるか？
• RQ3 妥当性チェックメカニズムは、推論攻撃に対する耐性を高める上で、果たす役割は何か？
• RQ4 プライバシーのフィルタリング時に手動による介入を必要とせずに、会話の流れをどのように維持しているか？
• RQ5 イベント抽出などの下流タスクのパフォーマンスと比較して、プライバシー保護とトレードオフとなるのはどのような点か？

主な発見

• PP-TSフレームワークは、入力テキストから指定されたプライバシー種別をほぼ完全に除去することができ、95.96%のプライバシー除去率（PRR）を達成した。
• データユーティリティ率（DUR）は92.33%に達し、洗浄後も入力データのユーティリティが強く保持されていることが示された。
• 妥当性チェックメカニズムを削除すると、DURは81.67%に低下し、意味的整合性の維持と推論攻撃への耐性の観点から、このメカニズムが極めて重要な役割を果たしていることが確認された。
• イベント抽出タスクにおいても高いパフォーマンスを維持し、トリガーのF1スコアは48.91、引数のF1スコアは21.00を記録した。これは、元のパフォーマンスと比較して劣化が最小限であることを示している。
• 人間による攻撃に比べて検出が難しいとされる手順的攻撃に対しても、ベースライン手法を上回る耐性を示した。
• 妥当性チェックの導入により、トリガーのF1スコアが1.71ポイント、引数のF1スコアが1.98ポイント向上し、下流タスクにおける明確なパフォーマンス向上が確認された。