[论文解读] KART: Parameterization of Privacy Leakage Scenarios from Pre-trained Language Models

Yuta Nakamura, Shouhei Hanaoka+6 more|arXiv (Cornell University)|Dec 31, 2020

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出KART，一种四维参数化框架——知识（Knowledge）、匿名化（Anonymization）、资源（Resource）和目标（Target）——用于系统化建模预训练语言模型中的隐私泄露场景。通过标准化场景定义，KART提升了隐私风险评估的可比性与可移植性，支持在不同攻击条件下对泄露风险的上限进行估计，实证验证表明各场景对之间的风险边际保持一致。

ABSTRACT

For the safe sharing pre-trained language models, no guidelines exist at present owing to the difficulty in estimating the upper bound of the risk of privacy leakage. One problem is that previous studies have assessed the risk for different real-world privacy leakage scenarios and attack methods, which reduces the portability of the findings. To tackle this problem, we represent complex real-world privacy leakage scenarios under a universal parameterization, extit{Knowledge, Anonymization, Resource, and Target} (KART). KART parameterization has two merits: (i) it clarifies the definition of privacy leakage in each experiment and (ii) it improves the comparability of the findings of risk assessments. We show that previous studies can be simply reviewed by parameterizing the scenarios with KART. We also demonstrate privacy risk assessments in different scenarios under the same attack method, which suggests that KART helps approximate the upper bound of risk under a specific attack or scenario. We believe that KART helps integrate past and future findings on privacy risk and will contribute to a standard for sharing language models.

研究动机与目标

• 解决预训练语言模型隐私风险评估中缺乏标准化场景定义的问题。
• 提升不同隐私泄露研究之间发现的可比性与可移植性。
• 在各种现实世界攻击场景下，实现对隐私风险上限的估计。
• 为未来风险评估提供通用框架，支持对现有研究的元分析。
• 指导语言模型共享的隐私准则制定。

提出的方法

• KART使用四个核心因素对隐私泄露场景进行参数化：先验知识（K）、目标信息（T）、匿名化（A）和辅助资源（R）。
• 每个场景均表示为K、A、R和T值的组合，实现对攻击条件的系统分类。
• 通过固定攻击方法并改变场景参数，该框架支持不同场景间风险的直接比较。
• 隐私风险边际计算为锚定场景（如K⁺A⁺R⁺）与弱化场景（如K⁺A⁻R⁺）之间泄露比率的差异，用以指示场景的严重程度。
• 该方法被应用于重新分析先前研究，并验证了不同场景对之间风险估计的一致性。
• KART被用于证明最严重场景（K⁺A⁺R⁺）可为给定攻击方法提供可靠的隐私风险上限估计。

实验结果

研究问题

• RQ1 如何系统化地对预训练语言模型中的隐私泄露场景进行参数化，以提升不同研究间的可比性？
• RQ2 KART框架在多大程度上使场景严重程度与观测到的隐私泄露风险保持一致？
• RQ3 KART能否用于估计在给定攻击方法下的隐私风险上限？
• RQ4 该框架如何支持对现有隐私风险评估的元分析？
• RQ5 通用风险度量在捕捉多样化隐私泄露类型方面存在哪些局限性？

主要发现

• 在所有测试案例中，锚定场景与弱化场景对之间的隐私风险边际均大于或等于零，表明场景严重程度与观测风险存在相关性。
• K⁺A⁺R⁺场景始终产生最高的隐私泄露比率，表明其近似于给定攻击方法下的风险上限。
• K⁺A⁺R⁺与K⁺A⁻R⁺场景之间的风险边际较小，暗示最严重情况下泄露的大部分可能源于随机猜测，而非精确信息恢复。
• KART成功重新表述并澄清了先前研究的场景假设，揭示了其多样性并提升了可解释性。
• 该框架支持在相同攻击下对不同场景进行一致的风险比较，增强了研究发现的可移植性。
• KART不提供通用风险评分，但提供一种情境感知的风险评估结构化方法，支持未来在模型共享中的标准化。