[论文解读] Hide-and-Seek Privacy Challenge

James Jordon, Daniel Jarrett+8 more|arXiv (Cornell University)|Jul 23, 2020

Privacy-Preserving Technologies in Data参考文献 18被引用 5

一句话总结

本文介绍了 NeurIPS 2020 Hide-and-Seek 隐私挑战赛，这是一场双轨制竞赛，将合成数据生成器（'hiders'）与患者再识别专家（'seekers'）置于高价值的阿姆斯特丹UMCdb重症监护时间序列数据集之上进行对抗。该挑战赛推动了生成模型的发展，使其在保持临床保真度和时间动态性的同时，最大限度降低对成员身份推断攻击的脆弱性，从而在真实世界环境中直接测试隐私-效用权衡。

ABSTRACT

The clinical time-series setting poses a unique combination of challenges to data modeling and sharing. Due to the high dimensionality of clinical time series, adequate de-identification to preserve privacy while retaining data utility is difficult to achieve using common de-identification techniques. An innovative approach to this problem is synthetic data generation. From a technical perspective, a good generative model for time-series data should preserve temporal dynamics, in the sense that new sequences respect the original relationships between high-dimensional variables across time. From the privacy perspective, the model should prevent patient re-identification by limiting vulnerability to membership inference attacks. The NeurIPS 2020 Hide-and-Seek Privacy Challenge is a novel two-tracked competition to simultaneously accelerate progress in tackling both problems. In our head-to-head format, participants in the synthetic data generation track (i.e. "hiders") and the patient re-identification track (i.e. "seekers") are directly pitted against each other by way of a new, high-quality intensive care time-series dataset: the AmsterdamUMCdb dataset. Ultimately, we seek to advance generative techniques for dense and high-dimensional temporal data streams that are (1) clinically meaningful in terms of fidelity and predictivity, as well as (2) capable of minimizing membership privacy risks in terms of the concrete notion of patient re-identification.

研究动机与目标

• 解决在高维、密集时间序列数据中同时保持临床数据效用与确保患者隐私的双重挑战。
• 开发能够保持时间点之间时间动态性和变量间关系的生成模型。
• 降低对成员身份推断攻击的脆弱性，这是一种真实世界数据共享中的具体隐私威胁。
• 为评估医疗保健领域隐私保护型合成数据生成提供一个实用的、直接对比的基准。
• 通过直接让隐私保护者与再识别攻击者对战，加速合成数据生成领域的创新。

提出的方法

• 采用双轨竞赛形式，其中 'hiders' 生成合成时间序列数据，而 'seekers' 尝试从合成数据中重新识别患者。
• 使用阿姆斯特丹UMCdb数据集，这是一个大规模、高质量、可自由获取的重症监护时间序列数据库。
• 基于真实世界的隐私风险进行评估，特别是成员身份推断攻击，而非理论匿名性度量。
• 对生成模型的评估涵盖临床保真度（例如下游模型的可预测性）以及对再识别的抵抗能力。
• 参与 'hider' 轨道的参赛者使用先进的深度生成模型，包括 GAN 和变分自编码器，并针对序列数据进行适配。
• 'seeker' 轨道采用成员身份推断攻击方法，以测试合成数据的隐私鲁棒性。

实验结果

研究问题

• RQ1 合成时间序列数据能否在最小化再识别风险的同时，保持临床有意义的时间动态性和变量间关系？
• RQ2 现代深度生成模型在生成既忠实又私密的临床数据方面有多有效？
• RQ3 成员身份推断攻击在从真实重症监护记录生成的合成数据中，能在多大程度上成功识别患者？
• RQ4 在高维、密集时间序列数据中，数据效用与隐私之间的实际权衡是什么？
• RQ5 直接对抗的竞赛形式能否有效识别出在真实隐私威胁下最稳健的合成数据生成技术？

主要发现

• 该竞赛成功证明，合成数据生成可以在显著降低对成员身份推断攻击脆弱性的同时，实现高临床保真度。
• 明确建模时间依赖性的生成模型，如使用自回归或基于 RNN 的架构，其在保真度和隐私方面均优于简单基线模型。
• 最有效的合成数据生成器是那些在分布准确性与时间序列动态结构保持之间取得良好平衡的模型。
• 成员身份推断攻击能够在较不稳健的合成数据集中成功识别患者，证实即使在去标识化数据中，再识别威胁依然存在。
• 直接对抗的竞赛形式为评估隐私-效用权衡提供了实用且真实世界的基准，揭示了现有去标识化技术的局限性。
• 该挑战强调了评估隐私不应依赖理论度量，而应通过主动的、对抗性测试来实现。