[論文レビュー] Mitigating the Privacy Issues in Retrieval-Augmented Generation (RAG) via Pure Synthetic Data

Shenglai Zeng, Jiankun Zhang+8 more|arXiv (Cornell University)|Jun 20, 2024

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、検索拡張生成（RAG）におけるプライバシーリスクを軽減するため、機密性の高い検索データを高機能かつプライバシー保護された合成データに置き換える二段階の合成データ生成フレームワーク、SAGEを提案する。この手法は、まず元のデータから主要な属性を抽出・生成し、次にエージェントベースの反復的プロセスでそれを精錬することで、実データと同等のパフォーマンスを達成しながら、標的攻撃および非標的攻撃の両方において顕著にプライバシー漏洩を低減する。

ABSTRACT

Retrieval-augmented generation (RAG) enhances the outputs of language models by integrating relevant information retrieved from external knowledge sources. However, when the retrieval process involves private data, RAG systems may face severe privacy risks, potentially leading to the leakage of sensitive information. To address this issue, we propose using synthetic data as a privacy-preserving alternative for the retrieval data. We propose SAGE, a novel two-stage synthetic data generation paradigm. In the stage-1, we employ an attribute-based extraction and generation approach to preserve key contextual information from the original data. In the stage-2, we further enhance the privacy properties of the synthetic data through an agent-based iterative refinement process. Extensive experiments demonstrate that using our synthetic data as the retrieval context achieves comparable performance to using the original data while substantially reducing privacy risks. Our work takes the first step towards investigating the possibility of generating high-utility and privacy-preserving synthetic data for RAG, opening up new opportunities for the safe application of RAG systems in various domains.

研究の動機と目的

• 検索データに機密情報が含まれる場合のRAGシステムにおけるプライバシーリスクに対処すること。
• 下流タスクの有用性を保つために必要な情報を保持する合成データ生成パイプラインを開発すること。
• 検索品質や推論オーバーヘッドに著しい影響を与えることなく、プライバシー保護を強化すること。
• RAGにおける実際の検索データの安全な代替としての合成データの使用可能性を検討すること。
• 標的および非標的プライバシー攻撃に対する合成データの耐性を評価すること。

提案手法

• 二段階の合成データ生成パイプライン：段階1では、属性に基づく抽出と生成を用いて、元のデータからの主要な文脈的情報を保持する。
• 段階2では、エージェントベースの反復的精錬プロセスを用いて、プライバシーを強化し、同時に有用性を維持する。
• 属性ベースの生成段階では、LLMを用いて、医療状態、症状、治療法などのコア情報を、元の患者記録から同定・再構築する。
• エージェントベースの精錬では、複数のLLMエージェントが反復的に合成データを評価・変更することで、自己一貫性および敵対的テストを通じてプライバシーの強化を実現する。
• フレームワークは、HealthCareMagicなどの実世界のデータセットを用いて評価され、標準的なRAGメトリクスによるパフォーマンス評価と、標的および非標的攻撃ベンチマークによるプライバシー漏洩評価が行われる。
• この手法は、下流のLLMに依存しないように設計されており、アーキテクチャの変更なしにさまざまなLLMと統合可能である。

Figure 1: An illustration for RAG with synthetic data.

実験結果

リサーチクエスチョン

• RQ1 機密性の高い検索データからのプライバシー漏洩を効果的に軽減しつつ、RAGにおける高い有用性を維持できる合成データを生成できるか？
• RQ2 属性ベースの生成に続くエージェントベースの精錬からなる二段階の合成データ生成パイプラインは、パフォーマンスおよびプライバシーにどのように影響を与えるか？
• RQ3 生成プロセスで使用される属性の数が、有用性およびプライバシーに与える影響は何か？
• RQ4 RAGにおける取得ドキュメント数の増加に対して、合成データパイプラインの耐性はどの程度か？
• RQ5 LLMの選定（例：GPT-3.5 対 GPT-4）が、生成された合成データのプライバシーおよび品質に与える影響は何か？

主な発見

• SAGEが生成した合成データをRAGに使用することで、複数のベンチマークにおいて、オリジナルデータを使用した場合と同等のパフォーマンスが達成され、検索および生成品質の低下は最小限に抑えられる。
• エージェントベースの精錬段階により、プライバシー漏洩が顕著に低減され、複数のドキュメントを検索しても標的攻撃においてほぼゼロの露出が達成された。
• 段階1の生成にLlama3-Chat-8bを使用した場合、データ品質が低いためプライバシー漏洩は観察されなかったが、GPT-4はGPT-3.5よりも漏洩が少なかった。これは、GPT-4の強力なセーフティフィルタリングによるものと推測される。
• 属性の数を増やすことでパフォーマンスは向上するが、最適な数を超えると効果の逓減が見られ、適切なハイパーパramータチューニングの必要性が示された。
• パイプラインは、取得ドキュメント数（k）の増加に対しても安定しており、k=1からk=10の範囲で一貫して低いプライバシー漏洩が維持された。一方、段階1のデータのみでは、リスクが拡大する傾向が見られた。
• この手法は標的および非標的攻撃の両方に対して効果的に対処でき、合成データがRAGにおける実際の検索データの代替として実用的かつプライバシー保護可能な選択肢であることを示した。

Figure 2: Pipeline of generating synthetic data.