[论文解读] A Bandit-Based Algorithm for Fairness-Aware Hyperparameter Optimization

André F. Cruz, Pedro Saleiro+3 more|arXiv (Cornell University)|Oct 7, 2020

Machine Learning and Data Classification参考文献 42被引用 6

一句话总结

Fairband 是一种基于上下文多臂赌博机的超参数优化算法，通过在不增加训练成本的前提下引导搜索向更公平的模型配置，高效地解决机器学习中的公平性-准确性权衡问题。它在预测准确率仅下降 0.8% 的情况下，将公平性显著提升至最高 44.8%，在真实世界数据集上优于无公平性意识的方法。

ABSTRACT

Considerable research effort has been guided towards algorithmic fairness but there is still no major breakthrough. In practice, an exhaustive search over all possible techniques and hyperparameters is needed to find optimal fairness-accuracy trade-offs. Hence, coupled with the lack of tools for ML practitioners, real-world adoption of bias reduction methods is still scarce. To address this, we present Fairband, a bandit-based fairness-aware hyperparameter optimization (HO) algorithm. Fairband is conceptually simple, resource-efficient, easy to implement, and agnostic to both the objective metrics, model types and the hyperparameter space being explored. Moreover, by introducing fairness notions into HO, we enable seamless and efficient integration of fairness objectives into real-world ML pipelines. We compare Fairband with popular HO methods on four real-world decision-making datasets. We show that Fairband can efficiently navigate the fairness-accuracy trade-off through hyperparameter optimization. Furthermore, without extra training cost, it consistently finds configurations attaining substantially improved fairness at a comparatively small decrease in predictive accuracy.

研究动机与目标

• 为解决在真实世界机器学习流程中整合公平性目标缺乏实用工具的问题。
• 在不增加训练预算或牺牲并行化能力的前提下，实现对公平性-准确性权衡的高效探索。
• 开发一种与模型类型、超参数空间和公平性度量无关的方法。
• 消除多目标公平性-准确性优化中手动调整权重的需求。
• 通过一种简单、资源高效且即插即用的超参数优化算法，弥合公平性研究与真实世界机器学习实践之间的差距。

提出的方法

• Fairband 通过引入基于公平性的探索机制，扩展了 Successive Halving 和 Hyperband 算法，采用上下文多臂赌博机方法。
• 通过优先选择能改善公平性-准确性权衡的配置，动态平衡超参数搜索中的探索与利用。
• 该算法使用基于公平性的上置信界（UCB）进行选择，并通过自动调整 $α$ 参数来实现目标公平性水平。
• 支持无公平性意识和有公平性意识的搜索空间，包括与偏差减少技术（如指数梯度法，Exponentiated Gradient）的集成。
• 该方法与模型无关且与度量无关，可无缝集成到现有机器学习流程中。
• 采用动态排序机制，在无需手动加权目标的情况下平衡公平性与准确性。

实验结果

研究问题

• RQ1 基于多臂赌博机的超参数优化方法是否能有效应对真实世界机器学习流程中的公平性-准确性权衡？
• RQ2 通过超参数调优，能否在对预测准确率影响极小的情况下显著提升公平性？
• RQ3 公平性感知的超参数优化方法是否优于无公平性意识的基线方法，以识别最优的公平性-准确性权衡？
• RQ4 自动 $α$ 参数调整是否能够消除公平性-准确性优化中手动调参的需求？
• RQ5 在超参数搜索中集成偏差减少技术（如指数梯度法）如何影响公平性-准确性权衡？

主要发现

• 在 Adult 数据集上，Fairband 实现的公平性得分比最高准确率模型（模型 A）高出 44.8%，而预测准确率仅下降 0.8%。
• 该算法始终能比无公平性意识的方法找到更优的公平性-准确性权衡，后者因无意识地选择不公平配置而表现更差。
• 即使在搜索空间中包含指数梯度法等偏差减少技术，Fairband 仍更倾向于选择其他模型（如神经网络和决策树），因其提供了更优的公平性-准确性权衡。
• 引入指数梯度法在公平性-准确性空间中形成了新的模型簇，但 Fairband 仍更频繁地选择非指数梯度法模型，因其整体性能更优。
• Fairband 在四个真实世界决策数据集上均实现了显著的公平性提升，且未增加任何训练成本。
• 该方法表明，可在极小准确率损失下实现显著的公平性增益，且公平性-准确性权衡对超参数配置高度敏感。