[论文解读] Fair Decisions Despite Imperfect Predictions

Niki Kilbertus, Manuel Gomez-Rodriguez+3 more|arXiv (Cornell University)|Feb 8, 2019

Explainable Artificial Intelligence (XAI)参考文献 44被引用 10

一句话总结

本文提出直接学习决策策略，而非依赖于在有偏见、选择性标注数据上训练的预测模型，以提升关键决策中的效用与公平性。通过在策略学习中引入探索机制，该方法避免了因代表性不足群体数据稀缺而导致的次优决策，在严格的人口均等性约束下，仍能实现更高的效用与更少的公平性违规。

ABSTRACT

Consequential decisions are increasingly informed by sophisticated data-driven predictive models. However, to consistently learn accurate predictive models, one needs access to ground truth labels. Unfortunately, in practice, labels may only exist conditional on certain decisions---if a loan is denied, there is not even an option for the individual to pay back the loan. Hence, the observed data distribution depends on how decisions are being made. In this paper, we show that in this selective labels setting, learning a predictor directly only from available labeled data is suboptimal in terms of both fairness and utility. To avoid this undesirable behavior, we propose to directly learn decision policies that maximize utility under fairness constraints and thereby take into account how decisions affect which data is observed in the future. Our results suggest the need for a paradigm shift in the context of fair machine learning from the currently prevalent idea of simply building predictive models from a single static dataset via risk minimization, to a more interactive notion of "learning to decide". In particular, such policies should not entirely neglect part of the input space, drawing connections to explore/exploit tradeoffs in reinforcement learning, data missingness, and potential outcomes in causal inference. Experiments on synthetic and real-world data illustrate the favorable properties of learning to decide in terms of utility and fairness.

研究动机与目标

• 解决在选择性标注数据上训练的预测模型的局限性，其中决策会影响哪些标签被观测到。
• 表明仅从静态数据中学习预测会导致次优的效用与公平性，尤其是在初始策略非理想时。
• 通过在公平性约束下直接优化决策策略，实现从“学习预测”到“学习决策”的范式转变。
• 证明尽管存在初始不确定性，探索性策略在长期中实现的效用与公平性优于确定性阈值规则。
• 开发一种实用的、基于梯度的算法，用于在现实场景中学习公平且具有探索性的决策策略。

提出的方法

• 将决策问题形式化为在公平性约束下的策略优化问题，将决策视为影响未来数据收集的动作。
• 提出一种基于梯度的算法，用于学习在输入空间未观测区域进行探索的随机决策策略，避免对有偏数据的过拟合。
• 将决策策略建模为随机函数 π(x,z)，将特征 x 和敏感属性 z 映射到决策 d，通过熵正则化控制探索程度。
• 使用随时间累积的效用函数，通过拉格朗日乘子 λ 引入公平性惩罚（如人口均等性）。
• 通过小批量数据的在线更新训练策略，每次更新反映决策对未来数据可得性与公平性的影响。
• 在保留的测试集上估计公平性度量（如人口均等性）与效用，以评估策略性能。

实验结果

研究问题

• RQ1 直接学习决策策略而非依赖预测模型，是否能在选择性标注场景下实现更高的效用与公平性？
• RQ2 与确定性阈值规则相比，决策策略中的探索如何影响长期效用与公平性？
• RQ3 在输入空间未观测区域进行探索的策略，能在多大程度上减少由数据偏差导致的公平性违规？
• RQ4 当初始策略次优时，学习决策（而非学习预测）是否能实现更优的性能？
• RQ5 如何将公平性约束整合进考虑数据收集反馈回路的策略学习框架中？

主要发现

• 在 t=100 训练步骤后，探索性策略在有效效用方面始终优于确定性阈值规则，即使在无公平性约束时亦然。
• 即使未显式施加公平性约束，探索性策略也比确定性规则更显著减少人口均等性违规，表明其具有内在的公平性优势。
• 当通过 λ 强制执行公平性约束时，该方法实现了完美的人口均等性，同时保持了与非公平基线相当的效用水平。
• 效用-公平性权衡得到良好管理：增加 λ 会降低效用，但可实现完全的人口均等性，表明公平性可被可控调节。
• 在 COMPAS 数据集上，t=200 时的最终策略在公平性违规更低的同时实现了更高的效用，尽管使用的是容量有限的逻辑回归模型类。
• 结果表明，探索不仅有利于提升效用，还能通过访问数据中代表性不足的群体，内在地改善公平性。