[论文解读] Binary Choice with Asymmetric Loss in a Data-Rich Environment: Theory and an Application to Racial Justice

Andrii Babii, Xi Chen+2 more|arXiv (Cornell University)|Oct 16, 2020

Census and Population Estimation被引用 5

一句话总结

本文提出了一种计算高效的框架，用于在高风险决策（如保释决定）中处理异方差、协变量依赖的损失函数下的二分类问题，通过重新加权逻辑回归或最先进的机器学习模型。该框架建立了成本敏感学习的理论保证，表明通过简单的重新加权，即可在不牺牲统计一致性或计算可行性的情况下，实现任意异方差损失下的最优决策，尤其适用于数据丰富的环境。

ABSTRACT

We study the binary choice problem in a data-rich environment with asymmetric loss functions. The econometrics literature covers nonparametric binary choice problems but does not offer computationally attractive solutions in data-rich environments. The machine learning literature has many algorithms but is focused mostly on loss functions that are independent of covariates. We show that theoretically valid decisions on binary outcomes with general loss functions can be achieved via a very simple loss-based reweighting of the logistic regression or state-of-the-art machine learning techniques. We apply our analysis to racial justice in pretrial detention.

研究动机与目标

• 解决计量经济学与机器学习文献中关于在一般异方差损失函数下，计算可行且理论基础坚实的二元选择方法的空白。
• 开发一个统一的框架，实现基于协变量的损失函数的成本敏感分类，适用于保释、招聘和贷款等现实决策场景。
• 为重新加权的逻辑回归和现代机器学习模型（如提升法、深度神经网络）在任意异方差损失函数下的理论一致性与收敛速率提供理论保障。
• 将该方法应用于一个现实政策问题——保释中因种族导致的差异，其中决策成本为异方差且依赖协变量。
• 通过为广泛使用的算法在异方差损失结构下提供统计保证，弥合计量经济学理论与机器学习实践之间的鸿沟。

提出的方法

• 核心方法是将一般异方差损失函数 ℓ(f(x), y, x) 转换为依赖数据的权重，用于重新加权经验风险最小化目标。
• 该方法基于协变量 x 条件下的期望损失对训练样本进行重新加权，使标准模型（如逻辑回归或深度神经网络）能够优化异方差成本。
• 理论分析使用伪维数和覆盖数界，推导出重新加权模型的一般化误差率，确保在高维数据下的统计一致性。
• 该框架支持参数模型（如逻辑回归）和非参数模型（如深度神经网络、提升法），其收敛速率通过经验过程理论推导得出。
• 通过理论界验证经验风险，表明在损失函数和模型类的弱正则性条件下，重新加权估计器可达到最优收敛速率。
• 通过基于伪维数的覆盖数界和一致浓度不等式，为多种模型类（包括深度神经网络）建立了理论保证。

实验结果

研究问题

• RQ1 能否在高维数据设置下，为一般协变量依赖的异方差损失函数下的二分类问题，开发出计算高效的解决方案？
• RQ2 如何在不牺牲理论一致性的前提下，将逻辑回归、提升法或深度神经网络等标准机器学习模型适配为优化异方差决策成本？
• RQ3 在任意异方差损失函数下，重新加权模型的理论泛化误差率是多少？其与模型复杂度和数据维度的关系如何？
• RQ4 所提出的重新加权框架能否应用于涉及公平性与异方差后果的现实政策问题，如保释决策？
• RQ5 损失函数结构与最终决策规则之间的统计关系是什么，特别是在阈值设定与协变量驱动权衡方面？

主要发现

• 本文证明，通过简单地对训练数据进行重新加权，即可在不修改底层模型架构的前提下，实现任意异方差损失函数下的最优决策。
• 推导出重新加权模型的理论收敛速率，表明误差率以 (V_n log(n/V_n)/n)^{κ/(2κ−1)} 的速率衰减，其中 V_n 为模型类的伪维数。
• 在损失函数和数据分布的弱正则性条件下，该框架对包括深度神经网络在内的广泛模型类均实现了统计一致性。
• 该方法计算高效，适用于最先进的机器学习模型（如 XGBoost、LASSO 和深度神经网络），在数据丰富的环境中具有实际应用价值。
• 在保释决策中的应用表明，基于异方差成本（如错误拘留与释放危险个体）的重新加权，可产生更公平且成本效益更高的决策规则。
• 理论界证实，即使损失函数复杂且依赖协变量，该重新加权方法仍能保持最优泛化性能。