[论文解读] Learning to Succeed while Teaching to Fail: Privacy in Closed Machine Learning Systems

Jure Sokolić, Qiang Qiu+2 more|arXiv (Cornell University)|May 23, 2017

Privacy-Preserving Technologies in Data参考文献 20被引用 3

一句话总结

本文提出了一种闭环机器学习框架，通过训练模型在主任务（如医学诊断）上表现成功的同时，主动在推断敏感属性（如性别或种族）方面失败，从而在不依赖通用对抗性假设的前提下确保隐私。该方法采用约束线性投影和基于最大均值差异（MMD）的噪声注入，以降低对敏感属性的推断能力，同时保持主任务的性能，在实验中实现了受保护任务55%的准确率。

ABSTRACT

Security, privacy, and fairness have become critical in the era of data science and machine learning. More and more we see that achieving universally secure, private, and fair systems is practically impossible. We have seen for example how generative adversarial networks can be used to learn about the expected private training data; how the exploitation of additional data can reveal private information in the original one; and how what looks like unrelated features can teach us about each other. Confronted with this challenge, in this paper we open a new line of research, where the security, privacy, and fairness is learned and used in a closed environment. The goal is to ensure that a given entity (e.g., the company or the government), trusted to infer certain information with our data, is blocked from inferring protected information from it. For example, a hospital might be allowed to produce diagnosis on the patient (the positive task), without being able to infer the gender of the subject (negative task). Similarly, a company can guarantee that internally it is not using the provided data for any undesired task, an important goal that is not contradicting the virtually impossible challenge of blocking everybody from the undesired task. We design a system that learns to succeed on the positive task while simultaneously fail at the negative one, and illustrate this with challenging cases where the positive task is actually harder than the negative one being blocked. Fairness, to the information in the negative task, is often automatically obtained as a result of this proposed approach. The particular framework and examples open the door to security, privacy, and fairness in very important closed scenarios, ranging from private data accumulation companies like social networks to law-enforcement and hospitals.

研究动机与目标

• 解决机器学习系统中隐私泄露日益严重的问题，即敏感属性（如性别、种族）可能从数据中被推断出来。
• 设计一种系统，确保可信实体（如医院或公司）能够执行所需任务（如诊断）而不具备推断受保护信息的能力。
• 通过在封闭、受控环境中运行，利用模型设计而非外部约束来强制执行隐私，从而克服通用隐私保证的局限性。
• 证明即使主任务比受保护任务更复杂，隐私依然可以实现，挑战了“隐私仅在受保护任务更简单时才可行”的假设。
• 提供一种实用且经过实证验证的隐私保护框架，可应用于医疗、执法和社交网络等现实世界系统。

提出的方法

• 该框架使用一个线性投影矩阵 $ P $，通过迭代更新，沿分离敏感属性的方向压缩数据空间，方法是利用在敏感标签上训练的SVM的权重向量。
• 投影通过 $ P = P'P $ 更新，其中 $ P' $ 的核与SVM的权重向量对齐，逐步降低模型对敏感属性分类的能力。
• 基于最大均值差异（MMD）的转换通过学习一个系数向量 $ \theta(x) $，向输入特征添加非线性噪声，使其朝向敏感属性某一类（正类或负类）的分布移动。
• 噪声向量 $ n(x) = D\theta(x) $ 通过高斯核 $ k(x,x') = \exp(-\|x-x'\|_2^2 / 2\sigma^2) $ 计算，其中 $ \sigma = 0.001 $，并通过梯度上升法优化，以最大化类别相似性。
• 优化过程进行10,000次迭代，学习率为0.05，确保变换后的数据在敏感属性方面变得模糊。
• 通过调整投影核的维度或MMD基扰动的幅度，控制效用与隐私之间的权衡。

实验结果

研究问题

• RQ1 是否可以设计一种机器学习系统，使其在主任务上成功，同时明确阻止其推断敏感属性，即使主任务比受保护任务更复杂？
• RQ2 在数据处理者可信但不得访问或推断受保护信息的封闭系统中，隐私应如何强制执行？
• RQ3 线性投影与基于MMD的转换在多大程度上能降低对敏感属性的推断能力，同时不损害主任务的性能？
• RQ4 当系统被训练为在敏感属性上失败时，是否能自动实现对这些属性的公平性？
• RQ5 该框架能否在医疗和社交媒体等现实应用中提供实用且可实证验证的隐私保障？

主要发现

• 所提出的线性投影方法在测试集上成功将敏感属性分类准确率降低至55%，证明了对推断能力的有效抑制。
• 基于MMD的净化方法通过将输入特征变换为与敏感属性某一类相似，实现了相当的隐私保护效果，有效隐藏了原始标签。
• 该框架在保持主任务（如诊断）高实用性的同时，降低对受保护任务的性能，验证了效用与隐私之间的核心权衡。
• 该方法自然促进了公平性，因为无法推断敏感属性的模型本质上避免了基于这些属性的歧视性行为。
• 实证评估证实，该方法对数据分布变化具有鲁棒性，可应用于医院、社交网络等多样化现实场景。
• 该框架为封闭系统中的隐私保护提供了一种实用、非通用但有效的解决方案，由于外部数据泄露风险，通用隐私在这些场景中不可行。