[論文レビュー] Human-Centred LLM Privacy Audits: Findings and Frictions

Dimitri Staufer, Kirsten N. Morehouse+2 more|arXiv (Cornell University)|Mar 12, 2026

Authorship Attribution and Profiling被引用数 0

ひとこと要約

論文はLMP2というブラウザベースの自己監査ツールを紹介し、GPT-4oが複数の名前条件付き属性を予測できることを示す中間的なユーザ研究の所見を報告する。ユーザーは関連付けに対するコントロールを望む一方で、人間中心のプライバシー監査における摩擦も強調される。

ABSTRACT

Large language models (LLMs) learn statistical associations from massive training corpora and user interactions, and deployed systems can surface or infer information about individuals. Yet people lack practical ways to inspect what a model associates with their name. We report interim findings from an ongoing study and introduce LMP2, a browser-based self-audit tool. In two user studies ($N_{total}{=}458$), GPT-4o predicts 11 of 50 features for everyday people with $\ge$60\% accuracy, and participants report wanting control over LLM-generated associations despite not considering all outputs privacy violations. To validate our probing method, we evaluate eight LLMs on public figures and non-existent names, observing clear separation between stable name-conditioned associations and model defaults. Our findings also contribute to exposing a broader generative AI evaluation crisis: when outputs are probabilistic, context-dependent, and user-mediated through elicitation, what model--individual associations even include is under-specified and operationalisation relies on crafting probes and metrics that are hard to validate or compare. To move towards reliable, actionable human-centred LLM privacy audits, we identify nine frictions that emerged in our study and offer recommendations for future work and the design of human-centred LLM privacy audits.

研究の動機と目的

• LLMsがモデル間で個人名と属性をどのように関連付けるかを評価する。
• 名前 conditioned の関連付けを可視化するユーザー向け自己監査ツールを開発する。
• これらの関連付けの精度、安定性、ユーザーが認識するプライバシー影響を評価する。
• 信頼性の高い人間中心のLLMプライバシー監査のための摩擦と設計上の考慮事項を特定する。
• GDPRの関連を含む法的・倫理的影響を議論する。

提案手法

• 名前と関連付けを検査するユーザー向け実践としてプライバシー自己監査を定義する。
• canaries (h, p, v) および paraphrase 付き WikiMem から最大50の属性を使用する。
• 断片補完タスクと反事実プレフィックスを用いてブラックボックスLLMに対するプロービングを適応させる。
• 出力を関連強度と信頼信号として集合化し、ユーザーの解釈を促す。
• ブラウザベースのLMP2ツールを提供し、トップ予測と信頼度をユーザーに返す。
• インターフェースを洗練させるための二つの形成的研究を実施し、その後八モデルの実証評価を行う。

実験結果

リサーチクエスチョン

• RQ1 GPT-4oや他モデルは実名・合成名に対する名前条件付き連想を信頼性高く明らかにできるか。
• RQ2 モデルは安定した名前条件付き連想とデフォルトの先行知識をどの程度分離できるか。
• RQ3 人間中心のLLMプライバシー監査を実施する際の使いやすさ・法的・方法論的摩擦は何か。
• RQ4 ユーザーの介入意識や介入意欲（例：生成された連想を消去/修正）と監査出力はどのように関連するか。
• RQ5 GDPRのような規制枠組みの下でプライバシー監査を実用的にするために必要な設計機能は何か。

主な発見

• GPT-4oは日常的な人々の属性のうち50項目中11項目を、少なくとも60％の精度で予測した。
• APIモデルは実在しない名前に対する精度が高く、実在の人物では安定した名前条件付き信号が有名人でより顕著だった。
• 性別や母語などの低カーディナリティ属性は、開放クラスや関係属性よりも高い精度を示した。
• 参加者は出力を一般的にはプライバシー侵害とみなさなかったが、72％は生成された連想を消去または修正する選択肢を望んだ。
• 有名人の安定した名前条件付き連想と存在しない名前との間には明確な分離があり、より大きなAPIモデルは有名データでより良い性能を示した。
• 実用的で信頼性の高い人間中心のプライバシー監査を妨げる9つの摩擦が同定され、誘発感度、多価属性、デプロイ済みシステムにおける帰属の不透明性などが含まれる。