[论文解读] Statistical Learning Theory Approach for Data Classification with l-diversity

Koray Mancuhan, Chris Clifton|arXiv (Cornell University)|Oct 18, 2016

Privacy-Preserving Technologies in Data参考文献 21被引用 5

一句话总结

本文提出了一种基于统计学习理论的预处理方法，用于在通过解剖化（anatomization）实现ℓ-多样性匿名化的数据上训练支持向量分类器（SVC/SVM）。该方法将敏感属性和标识属性拆分至独立的表中。理论与实证结果表明，此类分类器的泛化性能可与原始数据训练的模型相媲美甚至更优，优于基于k-匿名化的泛化方法，同时保持了强大的隐私保障。

ABSTRACT

Corporations are retaining ever-larger corpuses of personal data; the frequency or breaches and corresponding privacy impact have been rising accordingly. One way to mitigate this risk is through use of anonymized data, limiting the exposure of individual data to only where it is absolutely needed. This would seem particularly appropriate for data mining, where the goal is generalizable knowledge rather than data on specific individuals. In practice, corporate data miners often insist on original data, for fear that they might "miss something" with anonymized or differentially private approaches. This paper provides a theoretical justification for the use of anonymized data. Specifically, we show that a support vector classifier trained on anatomized data satisfying l-diversity should be expected to do as well as on the original data. Anatomy preserves all data values, but introduces uncertainty in the mapping between identifying and sensitive values, thus satisfying l-diversity. The theoretical effectiveness of the proposed approach is validated using several publicly available datasets, showing that we outperform the state of the art for support vector classification using training data protected by k-anonymity, and are comparable to learning on the original data.

研究动机与目标

• 为在机器学习中使用解剖化数据提供理论依据，特别是针对支持向量分类器。
• 解决数据科学家可能因感知到数据效用下降而回避使用匿名化数据的担忧。
• 证明保留原始值的解剖化方法可生成泛化性能与原始数据训练模型相当或更优的分类器。
• 通过统计学习理论和公共数据集上的实证评估，验证所提方法的有效性。
• 在分类准确率与隐私-效用权衡方面，对比所提出的基于解剖化的方案、k-匿名化和原始数据训练的性能。

提出的方法

• 作者提出一种启发式预处理算法，从解剖化数据中重构线性可分的训练数据，以支持有效的SVC/SVM训练。
• 应用统计学习理论来界定在解剖化数据上训练的分类器的泛化误差，推导出理论保证。
• 该方法在保留原始属性值的同时，对标识属性与敏感属性之间的映射引入不确定性，满足ℓ-多样性要求。
• 通过将敏感属性随机分配至组别，确保对最小性攻击和基于相关性的攻击具有鲁棒性。
• 理论分析基于随机世界假设和打碎性质（shattering property），边界推导基于间隔理论。
• 实证验证使用多个公共数据集，比较原始数据、解剖化数据和k-匿名化数据的性能表现。

实验结果

研究问题

• RQ1 在ℓ-多样性解剖化数据上训练的支持向量分类器，其泛化性能是否可与在原始数据上训练的模型相媲美？
• RQ2 在使用基于泛化的匿名化方法时，解剖化数据上训练的分类器性能与k-匿名化数据上的分类器相比如何？
• RQ3 在何种条件下，解剖化方法在分类准确率与隐私-效用权衡方面优于k-匿名化？
• RQ4 所提出的预处理方法是否能为在解剖化数据上训练的SVC/SVM提供理论泛化边界？
• RQ5 ℓ参数对模型性能有何影响？其与过拟合或欠拟合的关系如何？

主要发现

• 在ℓ ≥ 4时，尽管理论预期误差更高，但经剪枝的SVC/SVM在解剖化数据上训练的性能反而优于原始SVC/SVM，表明存在正则化效应。
• 当ℓ = 3至5时，解剖化SVC的平均误差率低于k-匿名化SVC，证明其在基于泛化的匿名化方法中具有更优的效用。
• 当敏感属性为强预测因子时，仅在ℓ = 2时，解剖化SVC优于标识SVC，表明ℓ-多样性在ℓ较高时可能表现为调参不当的正则化器。
• 在所有ℓ值下，解剖化SVC始终优于k-匿名化SVC，证实保留原始值相比泛化方法具有显著优势。
• 结果表明，解剖化在保持数据效用的同时满足ℓ-多样性要求，为隐私保护数据挖掘提供了一种可行的k-匿名化替代方案。
• 理论边界（4.6）仅在未应用抑制的情况下成立；当ℓ ≥ 4时观察到的性能提升在该边界下统计上不显著，提示存在未建模的正则化效应。