[论文解读] Enhancing the Accuracy and Fairness of Human Decision Making

Isabel Valera, Adish Singla+1 more|arXiv (Cornell University)|May 25, 2018

Game Theory and Voting Systems被引用 20

一句话总结

本文提出了一种顺序决策框架，通过将专家建模为基于阈值的决策者并求解受限二分匹配问题，优化专家分配以提升人工主导的二元决策（如保释裁决或学术评审）中的准确性和公平性。通过后验抽样实现探索-利用权衡，该方法实现了次线性遗憾，即使在专家存在偏见或阈值未知的情况下，也显著提升了公平性和效用。

ABSTRACT

Societies often rely on human experts to take a wide variety of decisions affecting their members, from jail-or-release decisions taken by judges and stop-and-frisk decisions taken by police officers to accept-or-reject decisions taken by academics. In this context, each decision is taken by an expert who is typically chosen uniformly at random from a pool of experts. However, these decisions may be imperfect due to limited experience, implicit biases, or faulty probabilistic reasoning. Can we improve the accuracy and fairness of the overall decision making process by optimizing the assignment between experts and decisions? In this paper, we address the above problem from the perspective of sequential decision making and show that, for different fairness notions from the literature, it reduces to a sequence of (constrained) weighted bipartite matchings, which can be solved efficiently using algorithms with approximation guarantees. Moreover, these algorithms also benefit from posterior sampling to actively trade off exploitation---selecting expert assignments which lead to accurate and fair decisions---and exploration---selecting expert assignments to learn about the experts' preferences and biases. We demonstrate the effectiveness of our algorithms on both synthetic and real-world data and show that they can significantly improve both the accuracy and fairness of the decisions taken by pools of experts.

研究动机与目标

• 为解决尽管日益关注算法偏见，但缺乏确保人工决策中公平性的机器学习方法这一问题。
• 通过从专家池中优化专家分配，提升顺序人工决策（如保释裁决或论文评审）的准确性和公平性。
• 使用阈值决策规则建模专家行为，并整合如差异影响等公平性约束。
• 在专家阈值未知的情况下，通过后验抽样实现有效的探索-利用权衡，以减少遗憾。
• 在合成数据和真实世界刑事司法数据（COMPAS）上展示该方法的有效性，证明其对偏见和专家群体多样性的鲁棒性。

提出的方法

• 将每位专家建模为基于阈值的决策规则，其中决策取决于学习到的条件概率和对预测风险的阈值。
• 在无公平性约束下，将专家分配问题简化为一系列加权二分匹配问题，可在多项式时间内精确求解。
• 对于公平性约束（如差异影响），将问题表述为有界颜色匹配问题，通过基于线性规划的双准则算法求解，具有1/2近似保证。
• 使用后验抽样估计未知的专家阈值，实现主动学习，与具有线性遗憾的点估计相比，实现次线性遗憾。
• 在顺序决策框架中整合探索（学习专家偏见）与利用（选择最优分配）。
• 采用逻辑回归从数据中估计真实条件概率 $ p_{Y|X,Z} $，以指导决策规则和阈值估计。

实验结果

研究问题

• RQ1 专家分配能否被优化以同时提升顺序人工决策中的准确性和公平性？
• RQ2 如何将差异影响等公平性约束正式整合到专家分配算法中？
• RQ3 专家多样性（如宽松与严厉的法官）对公平分配的可行性与性能有何影响？
• RQ4 当专家阈值未知时，后验抽样与点估计在学习专家阈值方面有何比较优势？
• RQ5 在大量专家对敏感群体存在偏见的情况下，该算法在多大程度上仍能确保公平性？

主要发现

• 所提算法在合成数据和真实世界COMPAS数据中，均实现了高于随机分配的期望效用和实际效用，证明了决策准确性的提升。
• 该算法在减少差异影响（衡量公平性）方面，显著优于随机分配，尤其在专家群体多样化时表现更优。
• 即使50%的法官对某一敏感属性（如种族）存在偏见，该算法仍能通过选择最优专家-决策分配维持公平性。
• 后验抽样在阈值估计中实现次线性遗憾，优于导致线性遗憾的点估计方法。
• 专家群体多样性越高，实现低差异影响的可行性越大，这由找到有效分配的概率所证明。
• 即使专家阈值未知，该方法依然有效，因为后验抽样可通过主动学习实现准确且公平的分配。