[论文解读] Discovering Unwarranted Associations in Data-Driven Applications with the FairTest Testing Toolkit

Florian Tramèr, Vaggelis Atlidakis+6 more|arXiv (Cornell University)|Oct 8, 2015

Privacy-Preserving Technologies in Data参考文献 36被引用 18

一句话总结

FairTest 是一个测试工具包，可检测算法输出（例如价格、标签）与受保护用户子群体（如种族或性别）之间统计上显著且不合理的关联。它通过在调整已知解释因素的前提下，按强度对关联进行排序，识别出诸如歧视性定价和冒犯性标签等偏见，并成功应用于检测现实世界数据驱动应用中的细微年龄偏差和种族标签问题。

ABSTRACT

In today's data-driven world, programmers routinely incorporate user data into complex algorithms, heuristics, and application pipelines. While often beneficial, this practice can have unintended and detrimental consequences, such as the discriminatory effects identified in Staples' online pricing algorithm and the racially offensive labels recently found in Google's image tagger. We argue that such effects are bugs that should be tested for and debugged in a manner similar to functionality, performance, and security bugs. We describe FairTest, a testing toolkit that detects unwarranted associations between an algorithm's outputs (e.g., prices or labels) and user subpopulations, including protected groups (e.g., defined by race or gender). FairTest reports any statistically significant associations to programmers as potential bugs and ranks them by their strength while accounting for known explanatory factors. We designed FairTest for ease of use by programmers and integrated it into the evaluation framework of SciPy, a popular library for data analytics. We used FairTest experimentally to identify unfair disparate impact, offensive labeling, and disparate rates of algorithmic error in six applications and datasets. As examples, our results reveal subtle biases against older populations in the distribution of error in a real predictive health application, and offensive racial labeling in an image tagger.

研究动机与目标

• 解决数据驱动应用中因算法输出与受保护子群体之间隐藏关联而引发的意外歧视或冒犯性结果日益增长的风险。
• 将此类关联视为错误（类似于功能错误、性能错误或安全错误），需要系统性地检测和调试。
• 提供一个实用且面向程序员的测试工具包，可集成到现有数据科学工作流中，例如 SciPy 评估框架。
• 在现实世界应用中检测并报告不同人口群体之间的差异影响、冒犯性标签和不均衡的错误率。
• 在评估关联时考虑已知解释变量，确保检测到的偏见并非单纯反映合法相关性。

提出的方法

• FairTest 使用统计假设检验来检测算法输出与用户子群体（包括由种族或性别等属性定义的受保护群体）之间的显著关联。
• 通过 p 值校正和效应量估计对检测到的关联按强度进行排序，有助于优先处理最严重的潜在偏见。
• 该工具包通过在分析期间对已知解释因素（如年龄、位置）进行条件处理，来控制这些因素，从而将不合理的关联与合法相关性分离。
• 它被实现为 SciPy 评估框架的插件，可无缝集成到现有数据分析流水线中。
• FairTest 通过多种指标（包括差异影响、标签冒犯性以及不均衡错误率）评估关联，以检测各种形式的不公平性。
• 该工具以清晰的优先级报告结果，使开发人员能够系统性地调试和缓解检测到的偏见。

实验结果

研究问题

• RQ1 系统性测试方法能否在现实世界的数据驱动应用中检测到算法输出与受保护子群体之间的不合理关联？
• RQ2 如何在调整已知解释变量的前提下，按统计强度对这些关联进行排序？
• RQ3 像 FairTest 这样的测试工具包在多大程度上能够识别出细微且此前未被发现的偏见，例如基于年龄的错误差异或冒犯性标签？
• RQ4 FairTest 在检测不同数据应用中差异影响和算法错误率方面的有效性如何？
• RQ5 FairTest 能否在不破坏现有开发实践的前提下，集成到现有的数据科学工作流中？

主要发现

• FairTest 成功识别出某项真实预测性健康应用中对年长人群在错误分布上的细微且此前未被发现的偏见。
• 该工具包检测到图像标签系统中的冒犯性种族标签，凸显了自动化内容分析中的关键公平性问题。
• 它揭示了在线定价算法中的差异影响，表明即使在未明确考虑人口因素的系统中，此类偏见也可能出现。
• FairTest 检测到不同子群体之间算法错误率的不均衡，表明模型性能存在系统性差异。
• FairTest 集成到 SciPy 评估框架中，使其实现在真实世界数据分析工作流中得以实用且可扩展地应用。
• 通过按统计强度对关联进行排序并调整已知因素，FairTest 使开发人员能够优先处理并调试最严重的公平性问题。