[论文解读] Ecosystem-level Analysis of Deployed Machine Learning Reveals Homogeneous Outcomes

Connor Toups, Rishi Bommasani+4 more|arXiv (Cornell University)|Jul 12, 2023

COVID-19 epidemiological studies被引用 4

一句话总结

本文通过考察多个模型的集体输出而非单个模型，引入生态系统层面的分析方法，以研究部署的机器学习对社会的影响。研究发现，系统性失败——即所有模型均错误分类用户的情况——普遍存在且在模型改进后依然持续，其中皮肤科模型中的种族差异在该框架下更加显著，凸显了传统公平性度量的局限性。

ABSTRACT

Machine learning is traditionally studied at the model level: researchers measure and improve the accuracy, robustness, bias, efficiency, and other dimensions of specific models. In practice, the societal impact of machine learning is determined by the surrounding context of machine learning deployments. To capture this, we introduce ecosystem-level analysis: rather than analyzing a single model, we consider the collection of models that are deployed in a given context. For example, ecosystem-level analysis in hiring recognizes that a job candidate's outcomes are not only determined by a single hiring algorithm or firm but instead by the collective decisions of all the firms they applied to. Across three modalities (text, images, speech) and 11 datasets, we establish a clear trend: deployed machine learning is prone to systemic failure, meaning some users are exclusively misclassified by all models available. Even when individual models improve at the population level over time, we find these improvements rarely reduce the prevalence of systemic failure. Instead, the benefits of these improvements predominantly accrue to individuals who are already correctly classified by other models. In light of these trends, we consider medical imaging for dermatology where the costs of systemic failure are especially high. While traditional analyses reveal racial performance disparities for both models and humans, ecosystem-level analysis reveals new forms of racial disparity in model predictions that do not present in human predictions. These examples demonstrate ecosystem-level analysis has unique strengths for characterizing the societal impact of machine learning.

研究动机与目标

• 通过将关注点从单个模型的公平性分析转向多个已部署模型对个体的集体影响，以解决模型层面公平性分析的局限性。
• 调查单个模型的改进是否能减少系统性失败——即所有模型均错误分类某一用户的情况。
• 揭示在传统群体层面公平性分析中不可见的机器学习结果中新形式的种族差异。
• 评估模型改进对那些在生态系统中被所有模型系统性失败的边缘化个体的影响。
• 证明生态系统层面的分析揭示了比传统以模型为中心的评估更为细致且更具影响力的潜在社会影响。

提出的方法

• 将失败矩阵 F 定义为个体从特定生态系统中所有决策者处获得的结果集合。
• 将系统性失败定义为从生态系统中所有模型均获得负面结果的个体。
• 使用 HAPI 审计框架，对文本、语音和视觉模态的 11 个数据集进行分析，每种模态包含 3 个商业系统。
• 通过测量模型性能的总体改进和净改进，评估进展是否减少了系统性失败。
• 基于 DDI 数据集（含 Fitzpatrick 皮肤类型标注）对皮肤科模型和人类皮肤科医生进行生态系统层面分析。
• 使用轮廓极化和种族差异度量比较模型与人类的结果，排除 HAM10k 数据集（因其几乎普遍存在负面预测）

实验结果

研究问题

• RQ1 在已部署的机器学习系统中，所有模型均错误分类某一用户（即系统性失败）的情况在多大程度上持续存在？
• RQ2 单个模型的改进是否导致系统性失败的减少，还是收益主要集中在已被其他模型正确分类的用户群体中？
• RQ3 与传统公平性度量相比，种族差异在生态系统层面分析中如何表现？
• RQ4 皮肤科模型在集体结果中的极化程度和种族偏见是否高于人类皮肤科医生？
• RQ5 与总体改进相比，净改进在系统性失败进展方面表现如何？

主要发现

• 在涵盖文本、语音和视觉的 11 个数据集中，系统性失败——即所有模型均错误分类某一用户的情况——普遍存在，其极化率显著高于独立模型行为预测值。
• 尽管在 waimai 数据集中错误率降低了 2.5%，但亚马逊的情感分析 API 在所有其他模型均系统性失败的实例上未实现任何总体改进。
• 平均而言，仅有 10% 的模型实例级改进发生在所有其他模型均错误分类的案例上，尽管这些系统性失败案例占可改进案例的 27%。
• 在皮肤科领域，模型对深色皮肤类型表现出更高的极化现象，而人类预测中并不存在这种差异，揭示了传统公平性分析无法察觉的新形式种族不公。
• 引入 HAM10k 模型后，轮廓极化和种族差异进一步加剧，证实了研究发现的稳健性，而非模型排除导致的伪影。
• 净改进在系统性失败上的进展甚至低于总体改进，表明模型收益主要集中在已获得良好服务的个体身上。