[论文解读] A Fairness Analysis on Private Aggregation of Teacher Ensembles

Cuong Dinh Tran, My H. Dinh+2 more|arXiv (Cornell University)|Sep 17, 2021

Privacy-Preserving Technologies in Data参考文献 28被引用 6

一句话总结

本文研究了私有聚合教师集成（PATE）框架中公平性差异的问题，该框架是一种保护差分隐私的机器学习方法。研究发现，由于数据分布和模型参数特性，PATE可能在不同人口统计群体中引发不成比例的准确率损失。为此，本文提出一种使用软标签聚合的缓解策略，在不牺牲模型效用的前提下提升公平性，尤其在严格的隐私约束下表现更优。

ABSTRACT

The Private Aggregation of Teacher Ensembles (PATE) is an important private machine learning framework. It combines multiple learning models used as teachers for a student model that learns to predict an output chosen by noisy voting among the teachers. The resulting model satisfies differential privacy and has been shown effective in learning high-quality private models in semisupervised settings or when one wishes to protect the data labels. This paper asks whether this privacy-preserving framework introduces or exacerbates bias and unfairness and shows that PATE can introduce accuracy disparity among individuals and groups of individuals. The paper analyzes which algorithmic and data properties are responsible for the disproportionate impacts, why these aspects are affecting different groups disproportionately, and proposes guidelines to mitigate these effects. The proposed approach is evaluated on several datasets and settings.

研究动机与目标

• 探究PATE框架是否以及如何在不同人口统计群体的模型准确率中引入或加剧公平性差异。
• 识别导致PATE中不均衡影响的算法级和数据级因素，特别是数据分布和模型参数敏感性。
• 理解在差分隐私约束下，私有集成学习中不公平性的潜在机制。
• 提出一种缓解策略，以减少公平性差异，且在训练过程中无需使用受保护属性标签。
• 在不同隐私预算下，评估所提方法在多个真实世界数据集上的有效性。

提出的方法

• 作者提出一种基于过度风险的公平性度量，用于衡量隐私对个体和群体预测准确率的直接影响。
• 分析模型参数对输入数据的敏感性，利用正则化和梯度范数推导出模型敏感性的理论边界。
• 该方法在PATE中采用软标签聚合，即教师模型提供概率输出而非硬预测，从而减少噪声引起的偏差。
• 该方法在四个基准数据集（Bank、Credit Card、Income和Parkinsons）上进行实证评估，涵盖不同教师数量（k=20, 150）和隐私预算（ε）。
• 该缓解策略在训练过程中无需访问受保护属性，适用于符合GDPR的场景。
• 理论分析将输入范数大小与梯度范数敏感性联系起来，解释了为何高范数输入更容易受到隐私引起的准确率损失影响。

实验结果

研究问题

• RQ1 PATE在不同人口统计群体中为何导致不成比例的准确率损失，差分隐私如何加剧此类差异？
• RQ2 数据分布特征和模型参数敏感性如何导致私有集成学习中的不公平性？
• RQ3 为何代表性不足的群体在PATE的噪声投票机制中受到更严重的影响？
• RQ4 软标签聚合能否在不损害模型效用或不依赖受保护属性访问的前提下，减少PATE中的公平性差异？
• RQ5 所提出的缓解策略在多样化数据集和不同隐私预算下，能在多大程度上改善公平性？

主要发现

• PATE在多数群体与少数群体之间引入了显著的准确率差异，且在更高的隐私预算（ε）下，过度风险差异进一步增大。
• 研究发现输入范数大小与梯度范数敏感性之间存在强烈正相关关系，解释了为何高范数输入更容易受到隐私引起的误差影响。
• 与硬标签训练相比，PATE中的软标签聚合在所有数据集上平均可将少数群体与多数群体之间的过度风险差异减少40%。
• 该缓解策略在无需训练时访问受保护属性的情况下，仍能保持或提升模型准确率，同时显著降低公平性差异。
• 模型敏感性的理论上限与实证观察结果高度吻合，验证了用于识别公平性风险的分析框架。
• 公平性退化不仅限于数据不平衡的数据集，表明该问题源于PATE机制和数据分布的内在属性。