[论文解读] Balancing Competing Objectives with Noisy Data: Score-Based Classifiers for Welfare-Aware Machine Learning

Esther Rolf, Max Simchowitz+5 more|arXiv (Cornell University)|Mar 14, 2020

Advanced Bandit Algorithms Research被引用 7

一句话总结

本文提出基于评分的分类器，以在数据噪声大或数据有限的情况下，平衡机器学习中的竞争目标（如利润与社会福利）。通过追踪预测评分的实证帕累托前沿，该方法界定了因估计误差导致的次优性，并展示了其与公平性约束策略的等价性。在内容推荐和渔业管理中的实证验证表明，该方法在效率损失极小的情况下实现了显著的社会福利提升。

ABSTRACT

While real-world decisions involve many competing objectives, algorithmic decisions are often evaluated with a single objective function. In this paper, we study algorithmic policies which explicitly trade off between a private objective (such as profit) and a public objective (such as social welfare). We analyze a natural class of policies which trace an empirical Pareto frontier based on learned scores, and focus on how such decisions can be made in noisy or data-limited regimes. Our theoretical results characterize the optimal strategies in this class, bound the Pareto errors due to inaccuracies in the scores, and show an equivalence between optimal strategies and a rich class of fairness-constrained profit-maximizing policies. We then present empirical results in two different contexts -- online content recommendation and sustainable abalone fisheries -- to underscore the applicability of our approach to a wide range of practical decisions. Taken together, these results shed light on inherent trade-offs in using machine learning for decisions that impact social welfare.

研究动机与目标

• 解决在现实世界机器学习决策中平衡多个目标（如利润与社会福利）的挑战。
• 开发一种框架，当目标测量存在噪声或不完整时，显式权衡私人与公共目标。
• 在估计误差下，表征一类基于评分策略的最优策略。
• 证明最优基于评分的策略与公平性约束分类器之间的理论等价性。
• 在包括在线内容推荐和可持续渔业在内的多个领域中，实证验证该方法的有效性。

提出的方法

• 该方法使用个体在多个目标（如福利与利润）上的预测评分来定义选择策略。
• 构建一种基于评分的策略，通过追踪实证帕累托前沿，依据目标间权衡导出的阈值选择个体。
• 理论分析将帕累托误差界定为预测评分估计误差的函数。
• 该方法在凹效用函数下被证明与基于性别/群体平等约束的分类器及其ε-公平变体等价。
• 利用凹优化推导最优阈值，在最大化联合效用的同时平衡各群体间的选取率。
• 实证验证使用来自YouTube视频流行度和鲍鱼渔业的真实世界数据，测试在数据噪声和测量限制下的性能。

实验结果

研究问题

• RQ1 当目标测量存在噪声或不完整时，机器学习策略如何最优地平衡竞争目标（如利润与社会福利）？
• RQ2 由于预测评分不准确，基于评分的策略的理论次优性如何？
• RQ3 基于评分的策略与公平性约束分类器之间有何关系，特别是在群体平等和ε-公平性方面？
• RQ4 在何种场景下，多目标方法能实现显著的社会福利提升，同时效率损失极小？
• RQ5 真实评分之间的相关性如何影响基于评分的多目标策略的性能？

主要发现

• 该方法将多目标效用的次优性界定为估计误差的函数，为性能退化提供了理论保证。
• 在凹效用函数下，基于评分的策略在理论上等价于基于群体平等约束的分类器及其ε-公平变体。
• 在YouTube视频推荐案例中，多目标优化显著提升了平均视频质量，同时用户参与度损失可忽略不计。
• 在鲍鱼渔业场景中，通过评分退化模拟数据稀缺性，表明该方法在关键目标难以测量时仍能保持强劲性能。
• 最优策略阈值在公平性约束放松时趋近于最大利用率阈值，且选取率随ε单调调整。
• 理论分析确认，选取率与最大利用率水平的绝对偏差随ε增加而单调递减，表明公平性提升以效率降低为代价。