[论文解读] Differentially Private Change-Point Detection

Rachel Cummings, Sara Krehbiel+3 more|arXiv (Cornell University)|Aug 29, 2018

Privacy-Preserving Technologies in Data被引用 16

一句话总结

本文提出了首个针对离线和在线变化点检测的差分隐私算法，利用ReportMax和AboveThresh机制确保$\epsilon$-差分隐私。该文为在隐私约束下最大似然估计器的有限样本精度提供了保证，将隐私成本量化为$D_{KL}(P_0||P_1)/\epsilon$，并通过实证验证表明，在不同隐私水平下检测变化点表现出色。

ABSTRACT

The change-point detection problem seeks to identify distributional changes at an unknown change-point k* in a stream of data. This problem appears in many important practical settings involving personal data, including biosurveillance, fault detection, finance, signal detection, and security systems. The field of differential privacy offers data analysis tools that provide powerful worst-case privacy guarantees. We study the statistical problem of change-point detection through the lens of differential privacy. We give private algorithms for both online and offline change-point detection, analyze these algorithms theoretically, and provide empirical validation of our results.

研究动机与目标

• 为敏感数据流应用（如生物监测和物联网）中差分隐私变化点检测的空白提供解决方案。
• 为非私有的变化点最大似然估计器（MLE）提供首个有限样本精度边界。
• 设计并分析确保$\epsilon$-差分隐私的同时保持统计精度的私有算法。
• 通过滑动窗口机制，将离线私有检测扩展至在线设置，使用AboveThresh机制。
• 在不同隐私参数$\epsilon$和分布假设下，实证验证私有变化点检测的性能。

提出的方法

• 在离线设置中，使用ReportMax机制通过添加与部分对数似然查询敏感度成比例的拉普拉斯噪声，实现对变化点MLE的私有估计。
• 在在线设置中，应用AboveThresh机制，通过迭代查询噪声统计量，直到超过阈值，以检测包含变化点的窗口（大小为$n$）。
• 采用递归计算CUSUM统计量：$W_i = \max(W_{i-1}, 0) + \log(P_1(x_i)/P_0(x_i))$，在滑动窗口上高效计算检验统计量。
• 通过预变化和后变化分布下噪声CUSUM统计量的经验分位数设定检测阈值$T$，以控制误报率。
• 使用$10^6$次蒙特卡洛模拟估算误报率和检测精度，阈值选择受限以确保可靠检测的非空范围。
• 采用基于敏感度的噪声注入，通过$\Delta/\epsilon$缩放实现$\epsilon$-差分隐私，其中$\Delta$为对数似然统计量的敏感度。

实验结果

研究问题

• RQ1 非私有MLE在变化点检测中的有限样本精度如何？与私有估计器相比表现如何？
• RQ2 ReportMax机制如何适配以实现在离线数据流中对变化点的私有估计？
• RQ3 AboveThresh机制能否在不知道变化点位置的前提下，实现在在线设置中的私有变化点检测？
• RQ4 在离线和在线设置中，隐私（$\epsilon$）与检测精度之间的权衡如何？
• RQ5 窗口大小和分布假设如何影响在线私有变化点检测中的阈值选择与检测性能？

主要发现

• 本文首次为非私有变化点MLE提供了有限样本精度保证，表明在敏感度有界条件下，精度与数据库大小$n$无关。
• 通过ReportMax实现的私有离线检测达到$\epsilon$-差分隐私，且精度受$D_{KL}(P_0||P_1)/\epsilon$限制，量化了隐私成本。
• 在$n=700$、$k^*=5000$的在线模拟中，伯努利模型下$\epsilon=\infty$和$\epsilon=1$时，误报率低于0.10，阈值$T=220$。
• 对于高斯模型，需要更大的窗口尺寸；当$n=700$时，$\epsilon=0.5,1$需放宽误报约束，分别使用$T=180,150,100$。
• 在线设置下的条件检测精度与离线精度相当，表明主要挑战在于报警触发，而非估计精度。
• 实证结果表明，一旦通过AboveThresh正确识别出窗口，离线估计算法即可准确定位变化点，证实了模块化设计的有效性。