[论文解读] Can Active Learning Preemptively Mitigate Fairness Issues?

Frédéric Branchaud-Charron, Parmida Atighehchian+3 more|arXiv (Cornell University)|Apr 14, 2021

Machine Learning and Data Classification参考文献 23被引用 5

一句话总结

本文研究了基于不确定性的主动学习（具体为BALD）是否能通过减少受保护群体之间的认知不确定性，主动提升机器学习模型的公平性。结果表明，与独立同分布采样相比，BALD显著提升了预测一致性和准确性；当与梯度反转结合时，即使在不了解敏感属性的情况下，也能进一步增强公平性。

ABSTRACT

Dataset bias is one of the prevailing causes of unfairness in machine learning. Addressing fairness at the data collection and dataset preparation stages therefore becomes an essential part of training fairer algorithms. In particular, active learning (AL) algorithms show promise for the task by drawing importance to the most informative training samples. However, the effect and interaction between existing AL algorithms and algorithmic fairness remain under-explored. In this paper, we study whether models trained with uncertainty-based AL heuristics such as BALD are fairer in their decisions with respect to a protected class than those trained with identically independently distributed (i.i.d.) sampling. We found a significant improvement on predictive parity when using BALD, while also improving accuracy compared to i.i.d. sampling. We also explore the interaction of algorithmic fairness methods such as gradient reversal (GRAD) and BALD. We found that, while addressing different fairness issues, their interaction further improves the results on most benchmarks and metrics we explored.

研究动机与目标

• 探究使用BALD的主动学习是否能主动缓解机器学习模型中的公平性问题。
• 评估BALD在不依赖敏感属性知识的情况下，是否能减少多数群体与少数群体之间的预测一致性差距。
• 考察BALD与公平感知方法（如梯度反转，GRAD）在提升公平性度量方面的相互作用。
• 比较BALD在公平性与准确性方面相对于均匀采样和公平感知基线的表现。

提出的方法

• 使用BALD（一种贝叶斯主动学习启发式方法），基于模型预测与后验权重之间的互信息，选择最具信息量的样本。
• 采用蒙特卡洛丢弃法，近似计算BALD中互信息的不可计算期望。
• 应用梯度反转（GRAD）作为公平性正则化技术，防止模型依赖虚假的敏感属性。
• 在标记数据上训练VGG-16模型20个周期，每次批量选择50个主动样本后重新训练。
• 在平衡的保留测试集上评估模型，以测量准确率与预测一致性。
• 使用三个随机种子重复实验，以计算标准差并确保结果稳健性。

实验结果

研究问题

• RQ1 使用BALD的主动学习是否能减少受保护群体之间模型预测的公平性差异？
• RQ2 即使敏感属性未知，BALD是否仍能相比均匀采样提升预测一致性？
• RQ3 将BALD与梯度反转结合后，对预测一致性与准确率等公平性度量有何影响？
• RQ4 BALD是否通过减少群体间认知不确定性的差异，从而促进更公平的模型行为？

主要发现

• 在少数群体标注比例为10%时，BALD在预测一致性上达到3.56 ± 1.70，显著优于均匀采样（10.73 ± 2.70）。
• BALD使少数群体的准确率达到91.66 ± 0.36%，高于均匀采样的87.23 ± 1.77%。
• 将BALD与梯度反转结合（λ=0.5）后，预测一致性降低至2.16 ± 1.13，优于单独使用BALD或在均匀采样中使用GRAD的模型。
• BALD与GRAD结合在敏感属性上的预测一致性为1.27 ± 0.88，显著低于均匀采样与GRAD结合（λ=1）的5.50 ± 1.51。
• 与均匀采样结合GRAD相比，BALD在时间推移中减少了群体间认知不确定性的绝对差异，而后者使不确定性差异几乎翻倍。
• 与需要完整访问标记数据集的最先进公平方法REPAIR相比，BALD与GRAD结合也表现出具有竞争力的性能。