[论文解读] Defining 'Good': Evaluation Framework for Synthetic Smart Meter Data

Sheng Chai, Gus Chadney+4 more|arXiv (Cornell University)|Jul 16, 2024

Smart Grid Energy Management被引用 5

一句话总结

本论文将保真度、效用和隐私评估框架应用于合成智能电表数据，提出新颖的度量指标与隐私测试，并在 Low Carbon London 数据集上使用 Faraday 模型与差分隐私设置进行演示。

ABSTRACT

Access to granular demand data is essential for the net zero transition; it allows for accurate profiling and active demand management as our reliance on variable renewable generation increases. However, public release of this data is often impossible due to privacy concerns. Good quality synthetic data can circumnavigate this issue. Despite significant research on generating synthetic smart meter data, there is still insufficient work on creating a consistent evaluation framework. In this paper, we investigate how common frameworks used by other industries leveraging synthetic data, can be applied to synthetic smart meter data, such as fidelity, utility and privacy. We also recommend specific metrics to ensure that defining aspects of smart meter data are preserved and test the extent to which privacy can be protected using differential privacy. We show that standard privacy attack methods like reconstruction or membership inference attacks are inadequate for assessing privacy risks of smart meter datasets. We propose an improved method by injecting training data with implausible outliers, then launching privacy attacks directly on these outliers. The choice of $ε$ (a metric of privacy loss) significantly impacts privacy risk, highlighting the necessity of performing these explicit privacy tests when making trade-offs between fidelity and privacy.

研究动机与目标

• 将既有的合成数据评估概念（保真度、效用、隐私）迁移到能源行业和个人智能电表数据。
• 提出能够捕捉智能电表特征（如尖峰性和时空层次结构）的定制化度量指标。
• 研究如何通过差分隐私和明确的隐私攻击来改进与衡量隐私。
• 评估在生成合成智能电表数据时数据保真度、效用和隐私之间的权衡。

提出的方法

• 将保真度、效用和隐私作为合成智能电表数据的核心评估概念。
• 在模型训练期间应用 DP-SGD 与 PyTorch Opacus 来控制隐私损失。
• 开发隐私攻击实验（重构与成员推断）以补充差分隐私保证。
• 引入基于距离的新颖时序特定度量来衡量保真度，包括 ACF 分布、峰值时序、簇分布，以及聚合层级的相似性。
• 使用在 Low Carbon London 数据集上训练的 Faraday 生成模型来生成用于评估的合成数据。
• 探讨改变隐私水平（epsilon）对保真度和效用的影响。

实验结果

研究问题

• RQ1 如何有效定义并衡量合成智能电表数据的保真度、效用和隐私？
• RQ2 哪些度量指标能够捕捉智能电表数据独特的时间序列和分层特征（如尖峰性、峰值、聚类）？
• RQ3 差分隐私与明确的隐私攻击如何在评估合成智能电表输出的隐私风险方面互为补充？
• RQ4 在生成合成智能电表数据时，保真度、效用和隐私之间存在哪些权衡？

主要发现

• 隐私攻击测试表明，标准隐私度量在智能电表数据上可能不足，需要进行显式的攻击测试。
• 差分隐私水平（epsilon）显著影响隐私风险，在平衡保真度与隐私时需要进行显式测试。
• 使用不合常理的离群值的新的重构攻击方法为时间序列数据的记忆风险提供了一个实用的测量。
• 针对智能电表数据定制的保真度与效用度量（ACF 分布、峰值时序、簇分布、聚合层级相似性）能够有效比较真实数据与合成数据。
• 在 DP 设置下的 Faraday 模型在数据保真度、预测效用和隐私保护之间展示了可衡量的权衡，跨数据集大小与隐私水平。