[論文レビュー] Large Language Models are Advanced Anonymizers

Robin Staab, Mark Vero+2 more|arXiv (Cornell University)|Feb 21, 2024

Topic Modeling被引用数 4

ひとこと要約

この論文は、強力な敵対的LLMからのフィードバックを用いて反復的にテキストの匿名化を最適化する、新しいLLMベースの敵対的匿名化フレームワークを提案する。従来のツールに比べ、プライバシーと有用性の両面で顕著な向上を達成する。この手法は、Azure や GPT-4 ベースのベースラインと比較して、人間の好みの評価と自動評価の両方で優れている。さらに、小型の量子化済みLLMですら、より大きなモデルの性能に匹敵する結果を達成できる。

ABSTRACT

Recent privacy research on large language models (LLMs) has shown that they achieve near-human-level performance at inferring personal data from online texts. With ever-increasing model capabilities, existing text anonymization methods are currently lacking behind regulatory requirements and adversarial threats. In this work, we take two steps to bridge this gap: First, we present a new setting for evaluating anonymization in the face of adversarial LLM inferences, allowing for a natural measurement of anonymization performance while remedying some of the shortcomings of previous metrics. Then, within this setting, we develop a novel LLM-based adversarial anonymization framework leveraging the strong inferential capabilities of LLMs to inform our anonymization procedure. We conduct a comprehensive experimental evaluation of adversarial anonymization across 13 LLMs on real-world and synthetic online texts, comparing it against multiple baselines and industry-grade anonymizers. Our evaluation shows that adversarial anonymization outperforms current commercial anonymizers both in terms of the resulting utility and privacy. We support our findings with a human study (n=50) highlighting a strong and consistent human preference for LLM-anonymized texts.

研究の動機と目的

• 表面上は無害に見えるオンラインテキストからLLMが個人的属性を推定する脅威の増大に対処すること。
• 現在の業界標準の匿名化ツールが、文脈依存的で間接的なプライバシー漏洩を検出できないという限界を克服すること。
• LLMの推論能力を活用して、フィードバックに従う敵対的匿名化フレームワークを構築し、匿名化の質を向上させること。
• 実際の敵対的推論環境下での匿名化性能を評価し、規制上のプライバシー基準と整合させること。
• 高性能な匿名化を、より小型で効率的かつエッジデプロイ可能なモデルに縮小可能かどうかを検討すること。

提案手法

• フレームワークは二重LLM構成を採用：一方の敵対的LLMが、現在のテキストバージョンに対して反復的に属性推論を実行する。
• 推論の結果に基づき、別個の匿名化LLMが、個人情報を露わにする兆候を削除、ごまかし、または一般化することでテキストを変更する。
• 複数ラウンドにわたる反復処理が行われ、各イテレーションでテキストが改善され、推論成功確率が低下する一方で、有用性は維持される。
• 匿名化は敵対的推論設定下で評価され、最終出力が強力なLLM敵対者による属性予測に対してテストされる。
• LoRA微調整を用いて、合成データと大規模モデル（例：Llama3.1-70B）からのデモンストレーションを活用し、小型モデル（例：Llama3.1-8B）を微調整する。
• 人間による研究（n=50）で、読みやすさ、意味の明確さ、典型性、および実用性の観点から匿名化済みテキストを評価し、実世界での性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 敵対的LLMは、従来のツールが見逃す文脈依存的プライバシー漏洩を効果的に特定できるか？
• RQ2 フィードバックに従う反復的LLMベース匿名化プロセスは、静的匿名化に比べ、プライバシーと有用性の両面で向上するか？
• RQ3 小型で量子化済みのLLMは、敵対的匿名化において、より大きなモデルと同等の性能を達成できるか？
• RQ4 人間の好みにおいて、LLMベースの匿名化と商業的匿名化ツールの間で、匿名化テキストに差異があるか？
• RQ5 LLMの判断と人間の判断が、匿名化出力の意味の明確さと読みやすさに関してどれほど一致するか？

主な発見

• 敵対的匿名化フレームワークは、敵対的推論精度と人間評価の両方で、Azure や GPT-4 ベースの匿名化ツールを顕著に上回っている。
• 人間の好みの研究（n=50）では、読みやすさ、意味の明確さ、実用性の各指標において、LLMで匿名化されたテキストが商業ツール処理済みテキストよりも強くかつ一貫して好まれていることが示された。
• 4ビット量子化済みのLlama3.1-8Bモデルは、プライバシーと有用性のトレードオフにおいて、完全な70Bモデルに非常に近い性能を達成しており、効率的なデプロイの可能性を示している。
• LLMによる意味の明確さと読みやすさの判断は、LLMで匿名化されたテキストに関して人間の判断とよく一致するが、Azureで匿名化されたテキストに関しては、LLMが人間よりも読みやすさと意味の明確さを高めに評価している。
• 小さなローカルにデプロイ可能なLLMですら、商業的匿名化ツールを上回るプライバシーと有用性の性能を示しており、スケーラブルでデバイス内でのプライバシー保護への道筋が示唆された。
• フレームワークは、文化的な参照から場所の推定を可能にするような、従来のエンティティ認識ツールではカバーできない間接的プライバシー漏洩を効果的に特定・緩和できた。