[论文解读] Generative Models for Effective ML on Private, Decentralized Datasets

Sean Augenstein, H. Brendan McMahan+6 more|arXiv (Cornell University)|Nov 15, 2019

Privacy-Preserving Technologies in Data参考文献 46被引用 43

一句话总结

本文展示了在无法直接访问私有、去中心化数据时，隐私保护的联邦生成模型如何用于调试数据质量和标注问题，使用用于文本的 DP-FedAvg 训练的 RNNs 和用于图像的 DP-FedAvg-GANs。

ABSTRACT

To improve real-world applications of machine learning, experienced modelers develop intuition about their datasets, their models, and how the two interact. Manual inspection of raw data - of representative samples, of outliers, of misclassifications - is an essential tool in a) identifying and fixing problems in the data, b) generating new modeling hypotheses, and c) assigning or refining human-provided labels. However, manual data inspection is problematic for privacy sensitive datasets, such as those representing the behavior of real-world individuals. Furthermore, manual data inspection is impossible in the increasingly important setting of federated learning, where raw examples are stored at the edge and the modeler may only access aggregated outputs such as metrics or model parameters. This paper demonstrates that generative models - trained using federated methods and with formal differential privacy guarantees - can be used effectively to debug many commonly occurring data issues even when the data cannot be directly inspected. We explore these methods in applications to text with differentially private federated RNNs and to images using a novel algorithm for differentially private federated GANs.

研究动机与目标

• 在由于隐私或去中心化导致数据无法被检查时，识别机器学习工作流中的挑战。
• 提出使用辅助的、隐私保护的生成模型来替代数据检查以完成调试任务的工作流。
• 演示用于文本（RNNs）和图像（GANs）的 DP-enabled 联邦生成模型，能够揭示数据问题而不暴露私有数据。
• 展示这些模型如何在联邦学习中检测并帮助修复真实世界的数据错误。

提出的方法

• 结合三种技术：深度生成模型、联邦学习（FL）和差分隐私（DP），在分散数据上训练隐私保护的生成模型。
• 将检查任务表达为数据选择标准，并在选定子集上训练生成模型以模拟不可检查的数据（T1–T6）。
• 将GANs适应为联邦DP设置，具有服务器端生成器和 DP-判别器更新，在 DP-FedAvg-GAN 算法中。
• 使用 DP-FedAvg 训练设备端的词语言模型RNNs，以检测分词和 OOV（未在词表中）相关的错误（T3）。
• 训练两个互补模型（设备端的主模型和辅助的 DP 模型），以合成具有代表性的私有数据且不泄露敏感信息。

实验结果

研究问题

• RQ1 在联邦学习环境中，隐私保护的联邦生成模型如何替代直接数据检查来进行调试？
• RQ2 DP-FedAvg 训练的 RNNs 和 GANs 是否可以在不暴露私有数据的情况下，准确揭示常见的数据质量和预处理错误？
• RQ3 在现实人口规模下，在保持调试有用性的同时，可实现的隐私预算（ε、δ）是什么？
• RQ4 辅助生成模型在 DP 与 FL 限制下，如何帮助诊断文本预处理、标注和偏差检测方面的问题？

主要发现

• DP 联邦生成模型在不检查私有数据的情况下实现数据问题的调试。
• DP-FedAvg-RNNs 可以揭示分词错误和指示预处理错误的 OOV 率上升。
• DP-FedAvg-GANs 可以通过比较精度不同的子群体输出，揭示图像预处理错误（如像素反转）。
• 在现实人口规模下，可以实现单 digits 的隐私预算（ε 大约在 1.5–2.4 范围），同时保持有用的合成数据质量。
• 该方法在文本和图像调试场景中展示了实际的隐私保证与效用权衡。