[论文解读] Minimax Filter: Learning to Preserve Privacy from Inference Attacks

Jihun Hamm|arXiv (Cornell University)|Oct 12, 2016

Privacy-Preserving Technologies in Data参考文献 18被引用 26

一句话总结

本文提出最小最大滤波器（minimax filter），一种基于学习的机制，通过将隐私保护形式化为最小最大优化问题，在连续的高维数据中优化效用与隐私之间的权衡。该方法显著降低了推理攻击的准确率——通常接近随机水平——同时保持了较高的目标任务性能，优于传统的差分隐私和语法匿名化方法。

ABSTRACT

Preserving privacy of continuous and/or high-dimensional data such as images, videos and audios, can be challenging with syntactic anonymization methods which are designed for discrete attributes. Differential privacy, which provides a more formal definition of privacy, has shown more success in sanitizing continuous data. However, both syntactic and differential privacy are susceptible to inference attacks, i.e., an adversary can accurately infer sensitive attributes from sanitized data. The paper proposes a novel filter-based mechanism which preserves privacy of continuous and high-dimensional attributes against inference attacks. Finding the optimal utility-privacy tradeoff is formulated as a min-diff-max optimization problem. The paper provides an ERM-like analysis of the generalization error and also a practical algorithm to perform the optimization. In addition, the paper proposes an extension that combines minimax filter and differentially-private noisy mechanism. Advantages of the method over purely noisy mechanisms is explained and demonstrated with examples. Experiments with several real-world tasks including facial expression classification, speech emotion classification, and activity classification from motion, show that the minimax filter can simultaneously achieve similar or better target task accuracy and lower inference accuracy, often significantly lower than previous methods.

研究动机与目标

• 解决语法匿名化和差分隐私在图像、视频和音频等连续高维数据上对推理攻击的脆弱性问题。
• 开发一种基于学习的过滤机制，优化数据效用与隐私保护在推理攻击下的权衡。
• 将隐私-效用权衡形式化为最小-差-最大优化问题，确保对对抗性推理的鲁棒性。
• 证明最小最大滤波可实现接近随机水平的推理准确率，且不严重依赖噪声，从而保留数据效用。
• 通过预处理和后处理将最小最大滤波与差分隐私结合，以增强整体隐私保障。

提出的方法

• 将隐私-效用权衡形式化为最小最大优化问题，最小化对手推理模型的期望风险与目标任务模型的期望风险之间的差异。
• 采用基于滤波的转换，对原始特征应用非可逆的、可学习的变换，在降低维度的同时去除敏感信息。
• 应用丹斯金定理（Danskin’s theorem）推导出一种实用的优化算法，通过经验风险最小化（ERM）求解最小最大问题。
• 提出一种带噪声的最小最大滤波器，将最小最大滤波器与差分隐私结合，实现正式的隐私保障和对推理攻击的抵抗能力。
• 采用两阶段方法：预处理（噪声注入前的滤波）和后处理（噪声注入后的滤波），两者均通过实证评估。
• 使用真实世界数据集（GENKI、ENTERFACE、HAR）在面部表情识别、语音情感识别和活动分类任务上训练并评估滤波器。

实验结果

研究问题

• RQ1 能否学习到一种滤波器，以最小化对手在敏感属性上可实现的最大推理准确率，同时保留合法任务的效用？
• RQ2 最小最大滤波器在抵抗高维数据上的推理攻击方面，与传统差分隐私和语法匿名化相比表现如何？
• RQ3 最小最大滤波器在不降低目标机器学习任务性能的前提下，能在多大程度上降低推理攻击准确率？
• RQ4 将最小最大滤波与差分隐私结合，是否能获得优于单独使用任一方法的隐私-效用权衡？
• RQ5 带噪声的最小最大滤波器的预处理与后处理变体，在隐私与效用之间平衡方面有何影响？

主要发现

• 最小最大滤波器在所有数据集上均将私有任务的推理准确率降低至接近随机水平（0.5、0.03、0.07），无论噪声水平如何，表现出对推理攻击的强大抵抗力。
• 相比之下，基于PCA的滤波器（非最小最大）在未添加噪声时，推理攻击准确率可高达0.8、0.5和0.3，需使用高噪声水平（ε⁻¹ ≥ 0.1）才能降低攻击成功率，但会损害效用。
• 最小最大预处理/后处理滤波器在目标任务上保持高准确率（如GENKI和HAR数据集上达0.9以上），表明在实现强隐私保护的同时，效用损失极小。
• 带噪声的最小最大滤波器优于纯差分隐私机制，结合了两种方法的优势：强大的推理攻击抵抗能力与正式的隐私保障。
• 预处理阶段使用最小最大滤波器在效用上始终优于后处理阶段，尤其在GENKI和HAR数据集上表现更优，表明在噪声注入前进行滤波更有效。
• 实证结果证实，公开可用的多主体数据集极易遭受主体身份识别攻击，但最小最大滤波器能有效缓解此类风险。