[论文解读] Locally Differentially Private Naive Bayes Classification

Emre Yılmaz, Mohammad Al-Rubaie+1 more|arXiv (Cornell University)|May 3, 2019

Privacy-Preserving Technologies in Data参考文献 17被引用 12

一句话总结

本文提出了一种局部差分隐私（LDP）朴素贝叶斯分类框架，通过让个体在将数据发送给不可信的聚合器之前本地扰动其数据，实现了隐私保护的分类器训练。通过LDP频率估计保留特征-类别标签关系，并结合降维技术，该方法在ε > 2时仍能保持较高的分类准确率，同时确保个体隐私，且无需可信的协调者。

ABSTRACT

In machine learning, classification models need to be trained in order to predict class labels. When the training data contains personal information about individuals, collecting training data becomes difficult due to privacy concerns. Local differential privacy is a definition to measure the individual privacy when there is no trusted data curator. Individuals interact with an untrusted data aggregator who obtains statistical information about the population without learning personal data. In order to train a Naive Bayes classifier in an untrusted setting, we propose to use methods satisfying local differential privacy. Individuals send their perturbed inputs that keep the relationship between the feature values and class labels. The data aggregator estimates all probabilities needed by the Naive Bayes classifier. Then, new instances can be classified based on the estimated probabilities. We propose solutions for both discrete and continuous data. In order to eliminate high amount of noise and decrease communication cost in multi-dimensional data, we propose utilizing dimensionality reduction techniques which can be applied by individuals before perturbing their inputs. Our experimental results show that the accuracy of the Naive Bayes classifier is maintained even when the individual privacy is guaranteed under local differential privacy, and that using dimensionality reduction enhances the accuracy.

研究动机与目标

• 解决在个体不信任中心化数据协调者时，收集敏感机器学习训练数据的挑战。
• 在个体于共享前本地扰动数据的本地差分隐私（LDP）环境下，实现朴素贝叶斯分类器的隐私保护训练。
• 通过在LDP数据收集过程中保留特征与类别标签之间的统计关系，维持分类准确率。
• 通过在本地扰动前应用降维技术，降低高维数据中的噪声与通信成本。
• 将基于LDP的分类扩展至离散与连续特征类型，包括连续数据的高斯朴素贝叶斯。

提出的方法

• 应用本地差分隐私（LDP）机制，如随机响应和一元编码，对个体特征值进行扰动后再传输。
• 使用LDP频率估计协议（例如，Bassily & Smith, 2015；Wang et al., 2017）在聚合器端从扰动数据中估计类条件概率。
• 对于连续特征，在应用LDP扰动前通过分箱或降维（如DCA）进行离散化，以减少噪声与维度。
• 在扰动过程中保留特征与类别标签之间的关系，以确保朴素贝叶斯中P(特征|类别)的准确估计。
• 利用聚合后的扰动数据估计所有必需的条件概率，从而在新样本上实现标准朴素贝叶斯推理。
• 在个体端集成降维技术（如DCA）于扰动前，以减少高维场景下噪声累积与通信成本。

实验结果

研究问题

• RQ1 能否有效将本地差分隐私协议适配于朴素贝叶斯分类器的训练，同时保留特征与类别标签之间的关系？
• RQ2 对于离散特征，编码方案（如直接编码、一元编码）的选择在LDP下如何影响分类准确率？
• RQ3 在连续数据上，降维在多大程度上提升了基于LDP的朴素贝叶斯分类的准确率？
• RQ4 隐私预算ε如何影响所提出的LDP朴素贝叶斯框架中隐私与分类准确率之间的权衡？
• RQ5 在强隐私约束下（如ε ≤ 2），该方法能否实现与非私有朴素贝叶斯相当的高分类准确率？

主要发现

• 当ε > 2时，LDP朴素贝叶斯分类器的分类准确率与非私有基线非常接近，表明实现了强大的隐私-效用权衡。
• 对离散特征使用直接编码或一元编码方案，即使在低隐私预算下也能实现高分类准确率。
• 对连续特征进行离散化能显著提升性能，通过减少LDP估计中的噪声。
• 在本地扰动前应用如DCA等降维技术，可通过降低维度与噪声，提升连续数据的分类准确率。
• 所提出方法可在无需可信数据协调者的情况下，实现大规模训练数据的LDP收集，有利于在隐私敏感领域部署。
• 该框架支持多分类任务，且不限于二分类，与以往基于LDP的机器学习系统不同。