[论文解读] Differentially Private Hypothesis Testing, Revisited.

Yue Wang, Jae Wook Lee+1 more|arXiv (Cornell University)|Nov 11, 2015

Privacy-Preserving Technologies in Data参考文献 19被引用 16

一句话总结

本文提出了一种用于差分隐私假设检验的新框架，通过采用针对隐私设计的渐近准则，克服了先前方法的局限性，从而提高了准确性和可靠性。该框架为表格数据开发了私有的似然比检验和卡方检验，在多种隐私设置下表现出实用性能，且对p值的噪声影响极小。

ABSTRACT

Hypothesis testing is different from traditional applications of differential privacy in that one needs an accurate estimate of how the noise affects the result (i.e. a $p$-value). Previous approaches to differentially private hypothesis testing either used output perturbation techniques that generally had large sensitivities (hence risked swamping the data with noise), or input perturbation techniques that resulted in highly unreliable $p$-values (and hence invalid statistical conclusions). In this paper, we develop a variety of practical hypothesis tests that address these problems. Using a different asymptotic regime that is more suited to hypothesis testing with privacy, we show a modified equivalence between chi-squared tests and likelihood ratio tests. We then develop differentially private likelihood ratio and chi-squared tests for a variety of applications on tabular data (i.e., independence, homogeneity, and goodness-of-fit tests). An open problem is whether new test statistics specialized to differential privacy could lead to further improvements. To aid in this search, we further propose a permutation-based testbed that can allow experimenters to empirically estimate the behavior of new test statistics for private hypothesis testing before fully working out their mathematical details (such as approximate null distributions). Experimental evaluations on small and large datasets using a wide variety of privacy settings demonstrate the practicality and reliability of our methods.

研究动机与目标

• 解决现有差分隐私假设检验方法中p值可靠性差的问题。
• 通过重新定义更适合隐私约束的渐近准则，降低私有假设检验对噪声的敏感性。
• 为常见的统计任务（如独立性、同质性和拟合优度检验）开发实用且准确的私有检验方法，适用于表格数据。
• 提供一个测试平台，用于在完整数学推导之前，对新私有检验统计量进行经验评估。
• 使研究人员能够在无需预先完成完整零分布分析的情况下，探索面向隐私优化的检验统计量。

提出的方法

• 提出一种专为差分隐私设计的改进渐近准则，使噪声与统计功效更好地对齐。
• 在新准则下，建立了似然比检验与卡方检验之间的理论等价性。
• 为独立性、同质性和拟合优度检验开发了差分隐私版本的似然比检验和卡方检验。
• 提出一种基于置换的测试平台，可在无需完整推导零分布的情况下，对新私有检验统计量进行经验评估。
• 采用输出扰动并校准噪声，以在最小化p值失真同时保护隐私。
• 采用隐私预算分配策略，在小样本和大样本数据集中均保持统计有效性。

实验结果

研究问题

• RQ1 新的渐近准则是否能提升差分隐私假设检验中p值的准确性和可靠性？
• RQ2 如何构建在差分隐私下保持统计有效性的私有似然比检验和卡方检验？
• RQ3 基于置换的测试平台在多大程度上可减少对私有检验统计量零分布完整解析推导的需求？
• RQ4 能否使私有假设检验在不同数据规模和隐私预算下均保持实用性和可靠性？
• RQ5 在真实场景中，使用输出扰动与输入扰动时，私有检验的性能权衡如何？

主要发现

• 所提出的私有似然比检验和卡方检验相比以往的输出扰动或输入扰动方法，p值的可靠性显著提升。
• 改进的渐近准则使在差分隐私下，似然比检验与卡方检验在理论上等价，提升了结果的一致性。
• 实验评估表明，在各种隐私预算下，小样本和大样本数据集中的p值均保持稳定且准确。
• 基于置换的测试平台可在无需完整零分布数学分析的情况下，高效评估新私有检验统计量。
• 该方法减少了噪声引起的统计量失真，从而在差分隐私下得出了更有效的统计结论。
• 该方法在具有强隐私保障的表格数据分析中，展现出在现实世界应用中的实际可行性。