[論文レビュー] Quantifying Association Capabilities of Large Language Models and Its Implications on Privacy Leakage

Hanyin Shao, Jie Huang+2 more|arXiv (Cornell University)|May 22, 2023

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿は、大規模言語モデル（LLM）が個人識別情報（PII）を個人と結びつける能力を定量的に評価し、より大きなモデルであるほど、特にPIIが訓練データ内で頻繁にまたは近接して共起する場合に、より強い関連付け能力を示すことを明らかにした。一般常識知識に対する全体的な正確性に比べてPIIの正確性は低いが、名前をプロンプトとして与えた際、モデルは3%のメールアドレスと1%の電話番号を正しく予測しており、非自明なプライバシー漏洩リスクを示している。

ABSTRACT

The advancement of large language models (LLMs) brings notable improvements across various applications, while simultaneously raising concerns about potential private data exposure. One notable capability of LLMs is their ability to form associations between different pieces of information, but this raises concerns when it comes to personally identifiable information (PII). This paper delves into the association capabilities of language models, aiming to uncover the factors that influence their proficiency in associating information. Our study reveals that as models scale up, their capacity to associate entities/information intensifies, particularly when target pairs demonstrate shorter co-occurrence distances or higher co-occurrence frequencies. However, there is a distinct performance gap when associating commonsense knowledge versus PII, with the latter showing lower accuracy. Despite the proportion of accurately predicted PII being relatively small, LLMs still demonstrate the capability to predict specific instances of email addresses and phone numbers when provided with appropriate prompts. These findings underscore the potential risk to PII confidentiality posed by the evolving capabilities of LLMs, especially as they continue to expand in scale and power.

研究の動機と目的

• 文脈的なプロンプトを通じて、言語モデルが個人識別情報（PII）を個人とどのように関連付けるかを調査すること。
• モデルスケール、共起頻度、共起距離が関連付け性能に与える影響を測定すること。
• EnronメールとLAMAの2つの異なるデータセットにおいて、PIIと一般常識知識の間の関連付け能力を比較すること。
• 急速に強力化するLLMにおける、記憶化によるものではなく、関連付けによるPII漏洩のプライバシーリスクを評価すること。
• 展開済みのLLMにおけるPII漏洩を低減するための実行可能な緩和戦略を提供すること。

提案手法

• 本研究は、メール交信データ（Enron）を用いたPII関連付けと、一般常識知識を目的としたデータセット（LAMA）を用いた、さまざまなサイズのLLMを評価した。
• 関連付け性能は、名前をプロンプトとして与え、それに応じたPII（例：メールアドレス、電話番号）を予測できるかを評価することで測定した。
• 訓練データ内でのエンティティペア間の共起頻度と距離を定量化し、モデルの予測正確性と相関させた。
• モデルサイズの違いによる性能差を分析し、関連付け能力へのスケーリング効果を明らかにした。
• プライバシー緩和戦略として、プロンプトフィルタリング、入出力コンテンツフィルタリング、APIレート制限を提案し、漏洩リスク低減を図った。
• すべての実験は、公開済みのモデルとデータを用い、PIIは匿名化（例：'John Doe'、'[e-mail]'）されたもので、倫理的適合性を確保した。

実験結果

リサーチクエスチョン

• RQ1 モデルスケールがLLMがPIIを個人と関連付ける能力にどのように影響するか？
• RQ2 エンティティ間の共起頻度と距離が、LLMにおける関連付け正確性にどの程度影響を及えるか？
• RQ3 LLMにおけるPIIの関連付け性能は、一般常識知識の性能と比べてどの程度か？
• RQ4 名前のみをプロンプトとして与えた際、LLMは特定のPII（例：メールアドレス、電話番号）を正確に予測できるか？
• RQ5 展開済みのLLMにおけるPII漏洩を低減するための最も効果的な緩和戦略は何か？

主な発見

• より大きな言語モデルは、特に訓練データ内で共起頻度が高く、共起距離が短いエンティティに対して顕著に強い関連付け能力を示した。
• 全体的な正確性が低いにもかかわらず、人物の名前をプロンプトとして与えた際、LLMは約3%のメールアドレスと1%の電話番号を正しく予測できた。
• PIIにおける関連付け性能は、一般常識知識における性能に比べて著しく低いことが判明し、一般知識と機微な個人データの間には性能ギャップが存在することが示唆された。
• LLMの関連付け能力はモデルスケールに伴い向上するが、ある閾値を超えると改善が鈍り、限界に達する傾向があることが示された。
• 訓練データの品質とタスクの複雑さは、モデルのPII関連付け能力に顕著な影響を及ぼし、ノイズが多いまたはより複雑なデータでは性能が低下した。
• LLMが一般常識をより正確に関連付けるようになるにつれ、並列的にPIIの関連付けリスクも上昇するため、事前のプライバシー保護対策が不可欠である。