[论文解读] $k$-Anonymity in Practice: How Generalisation and Suppression Affect Machine Learning Classifiers

Djordje Slijepčević, Maximilian Henzl+4 more|arXiv (Cornell University)|Feb 9, 2021

Privacy-Preserving Technologies in Data参考文献 35被引用 4

一句话总结

本文评估了k-泛化技术——特别是泛化与抑制——对真实世界数据集上机器学习分类器性能的影响。研究发现，尽管分类准确率在更强的k-泛化约束下会下降，但Mondrian算法在保持性能方面表现最佳，尤其是在高k值条件下，且抑制策略提供了灵活性而无明显性能权衡。

ABSTRACT

The protection of private information is a crucial issue in data-driven research and business contexts. Typically, techniques like anonymisation or (selective) deletion are introduced in order to allow data sharing, e. g. in the case of collaborative research endeavours. For use with anonymisation techniques, the $k$-anonymity criterion is one of the most popular, with numerous scientific publications on different algorithms and metrics. Anonymisation techniques often require changing the data and thus necessarily affect the results of machine learning models trained on the underlying data. In this work, we conduct a systematic comparison and detailed investigation into the effects of different $k$-anonymisation algorithms on the results of machine learning models. We investigate a set of popular $k$-anonymisation algorithms with different classifiers and evaluate them on different real-world datasets. Our systematic evaluation shows that with an increasingly strong $k$-anonymity constraint, the classification performance generally degrades, but to varying degrees and strongly depending on the dataset and anonymisation method. Furthermore, Mondrian can be considered as the method with the most appealing properties for subsequent classification.

研究动机与目标

• 系统评估k-泛化技术（泛化与抑制）对机器学习分类器性能的影响。
• 比较多种k-泛化算法（如Mondrian、MDAV、k-Optimize）对下游机器学习效用的影响。
• 识别在确保强隐私保障的同时维持高分类准确率的泛化策略。
• 提供开源代码与数据集，以支持隐私保护机器学习的可复现性与未来研究。

提出的方法

• 在四个具有不同特征的真实世界数据集上应用了一套k-泛化算法，包括Mondrian、MDAV和k-Optimize。
• 使用泛化与抑制作为核心数据转换技术以实现k-泛化，其中每个准标识符（QID）值必须至少与k−1个其他记录共享。
• 在原始数据集与泛化后的数据集上训练多种分类器（如随机森林、SVM、逻辑回归），以比较性能差异。
• 使用标准指标（如准确率、F1分数）衡量分类性能，并评估信息损失与数据失真影响。
• 开展消融研究，以分离泛化与抑制对模型性能的独立影响。
• 通过GitHub发布所有代码、数据集与元数据，以促进开放科学与可复现性。

实验结果

研究问题

• RQ1 随着k-泛化约束的增强，机器学习分类器在不同数据集上的性能如何变化？
• RQ2 在强k-泛化条件下，Mondrian、MDAV或k-Optimize等k-泛化算法中，哪一种最能保持分类性能？
• RQ3 泛化与抑制对下游机器学习模型准确率的相对影响是什么？
• RQ4 数据集特定特征（如特征与目标变量的相关性）如何影响泛化导致的性能下降？
• RQ5 在不降低模型性能的前提下，抑制策略在多大程度上可减少泛化引入的波动？

主要发现

• 分类性能通常随k-泛化约束的增强而下降，但性能下降程度在不同数据集与泛化方法之间存在显著差异。
• Mondrian在所有k-泛化方法中表现最稳定，即使在k=100时仍能保持高分类准确率，尤其在adult与cmc数据集上表现突出。
• 在adult数据集上，使用随机森林与Mondrian时性能损失极小（低于7%）；而在mgm与cahousing数据集上，类似条件下性能损失约为13%。
• 抑制引入的波动性低于泛化，且允许一定程度的抑制可提升泛化灵活性，而无明显性能损失。
• 当准标识符与目标变量高度相关时，泛化对性能的负面影响更强，表明特征对数据失真具有特定敏感性。
• 本研究证实，即使在高k值（如k=100）下，k-泛化仍可实现可接受的效用损失，尤其在使用Mondrian时，支持其在隐私保护机器学习中的实际可行性。