[论文解读] A Classification of Feedback Loops and Their Relation to Biases in Automated Decision-Making Systems

Nicolò Pagan, Joachim Baumann+4 more|arXiv (Cornell University)|May 10, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文利用动力系统理论，对基于机器学习的决策系统中的反馈回路进行了形式化分类，识别出五类——采样、个体、特征、结果和模型反馈回路——每类均与特定偏见相关。通过仿真表明，反馈回路可加剧、强化甚至减轻偏见，为自动化系统中的长期公平性缓解提供了原则性框架。

ABSTRACT

Prediction-based decision-making systems are becoming increasingly prevalent in various domains. Previous studies have demonstrated that such systems are vulnerable to runaway feedback loops, e.g., when police are repeatedly sent back to the same neighborhoods regardless of the actual rate of criminal activity, which exacerbate existing biases. In practice, the automated decisions have dynamic feedback effects on the system itself that can perpetuate over time, making it difficult for short-sighted design choices to control the system's evolution. While researchers started proposing longer-term solutions to prevent adverse outcomes (such as bias towards certain groups), these interventions largely depend on ad hoc modeling assumptions and a rigorous theoretical understanding of the feedback dynamics in ML-based decision-making systems is currently missing. In this paper, we use the language of dynamical systems theory, a branch of applied mathematics that deals with the analysis of the interconnection of systems with dynamic behaviors, to rigorously classify the different types of feedback loops in the ML-based decision-making pipeline. By reviewing existing scholarly work, we show that this classification covers many examples discussed in the algorithmic fairness community, thereby providing a unifying and principled framework to study feedback loops. By qualitative analysis, and through a simulation example of recommender systems, we show which specific types of ML biases are affected by each type of feedback loop. We find that the existence of feedback loops in the ML-based decision-making pipeline can perpetuate, reinforce, or even reduce ML biases.

研究动机与目标

• 为解决当前对基于机器学习的决策系统中反馈回路缺乏严谨理论理解的问题，从而限制长期公平性干预措施。
• 通过分析顺序决策流水线中反馈回路的动态演化特性，超越短期偏见缓解技术。
• 提供一个统一且原则性的反馈回路分类体系，涵盖算法公平性文献中讨论的多样化现象。
• 将特定反馈回路类型与所影响的相应机器学习偏见相联系，从而支持针对性的缓解策略。
• 为未来研究奠定基础，以设计控制器和反馈感知系统，从而前瞻性地预见并防止随时间推移的偏见放大。

提出的方法

• 采用动力系统理论框架，将机器学习决策流水线建模为具有动态反馈的相互关联系统。
• 基于受影响的流水线组件，定义五类不同的反馈回路类型：采样、个体、特征、结果和模型反馈回路。
• 引入“对抗性反馈回路”作为特殊情况，即决策引发个体的策略性响应，从而改变系统输入。
• 通过定性分析和模拟推荐系统，展示每类反馈回路类型对偏见放大或减轻的影响。
• 应用控制理论和最优传输工具，探讨如何将公平性约束作为反馈感知设计中的系统目标嵌入其中。
• 形式化反馈回路分类，以实现对现有文献的系统性重述，并统一各研究中的假设。

实验结果

研究问题

• RQ1 在基于机器学习的决策系统流水线中，可能涌现出哪些不同类型的反馈回路？它们如何被形式化分类？
• RQ2 不同类型的反馈回路如何影响特定机器学习偏见的放大、减轻或持续存在？
• RQ3 决策流水线中的反馈回路以何种方式破坏为静态系统设计的短期公平性干预措施？
• RQ4 对抗性反馈回路（即个体对决策作出策略性响应）能否被形式化建模，并与其它回路类型区分开来？
• RQ5 如何利用控制理论和最优传输方法，设计能前瞻性地防止长期偏见的反馈感知系统？

主要发现

• 本文识别出五类不同的反馈回路——采样、个体、特征、结果和模型反馈回路——每类影响机器学习流水线的不同部分，并以独特方式影响偏见。
• 反馈回路可能加剧、强化甚至减轻机器学习偏见，具体取决于回路类型和系统上下文，挑战了“反馈总是放大偏见”的假设。
• 对抗性反馈回路（即个体为响应决策而改变行为，如操纵系统）代表了一类独特且重要的反馈动态类别。
• 对推荐系统的仿真表明，结果和模型反馈回路可能导致显著的偏见放大，尤其是在决策影响未来数据收集的情况下。
• 该框架能够通过澄清先前研究中隐含或明确假设的反馈回路类型，实现对现有公平性文献的系统性重述。
• 控制理论与最优传输的结合，为设计将公平性作为约束条件、同时随时间优化性能的控制器提供了可行路径。