[论文解读] Loss Minimization Yields Multicalibration for Large Neural Networks

Jarosław Błasiok, Parikshit Gopalan+3 more|arXiv (Cornell University)|Apr 19, 2023

Adversarial Robustness in Machine Learning被引用 2

一句话总结

该论文表明，当受保护群体可由较小的神经网络（大小为 k）表示时，在大型神经网络（大小 n > k）上最小化平方损失，可使除有限多个不走运的 n 值外，所有情况均实现多校准。该结果建立了标准损失最小化与通过多校准实现公平性的直接联系，利用深度网络的表达能力，在无需显式后处理的情况下隐式满足多样化子群体的校准要求。

ABSTRACT

Multicalibration is a notion of fairness for predictors that requires them to provide calibrated predictions across a large set of protected groups. Multicalibration is known to be a distinct goal than loss minimization, even for simple predictors such as linear functions. In this work, we consider the setting where the protected groups can be represented by neural networks of size $k$, and the predictors are neural networks of size $n > k$. We show that minimizing the squared loss over all neural nets of size $n$ implies multicalibration for all but a bounded number of unlucky values of $n$. We also give evidence that our bound on the number of unlucky values is tight, given our proof technique. Previously, results of the flavor that loss minimization yields multicalibration were known only for predictors that were near the ground truth, hence were rather limited in applicability. Unlike these, our results rely on the expressivity of neural nets and utilize the representation of the predictor.

研究动机与目标

• 研究在大型神经网络上进行标准损失最小化是否能产生多校准，即在多样化子群体中实现校准预测的公平性准则。
• 确定大型神经网络的表达能力是否能隐式实现多校准，而无需显式公平性约束或后处理。
• 分析在更大假设类（n > k）上进行损失最小化时，导致可由较小网络（k）表示的子群体实现多校准的条件。
• 为深度学习模型通过优化本身自然实现公平性属性（如多校准）提供理论依据。

提出的方法

• 采用 Kim 等人（2022）的定义，将多校准形式化为审计函数与预测误差之间内积的约束。
• 将受保护群体建模为大小为 k 的神经网络，将预测器建模为大小为 n > k 的神经网络。
• 使用表示论论证，证明在大小为 n 的网络上进行损失最小化过程，几乎对所有 n 值均内在满足多校准。
• 应用对偶性和逼近论，界定多校准可能失败的“不走运”n 值的数量。
• 利用神经网络在多校准所需后处理步骤下封闭的性质，通过优化构建校准预测器。
• 提供证据表明，在当前证明技术下，不走运 n 值的上界是紧的。

实验结果

研究问题

• RQ1 在大型神经网络（n > k）上最小化平方损失，是否能对由较小网络（k）定义的子群体实现多校准？
• RQ2 大型神经网络的表达能力是否能隐式强制实现多校准，而无需显式公平性约束或后处理？
• RQ3 有多少个 n 值（预测器网络的大小）属于“不走运”类型，即尽管进行了损失最小化，多校准仍可能失败？
• RQ4 在当前证明框架下，不走运 n 值数量的上界是否紧致？
• RQ5 标准深度学习优化是否能隐式满足多校准等公平性准则，即使真实情况无法在假设类中实现？

主要发现

• 在大小为 n > k 的神经网络上最小化平方损失，可对所有但有限多个 n 值实现 (C, γ)-多校准，其中 C 是可由大小为 k 的网络表示的审计函数类。
• 多校准可能失败的“不走运”n 值的数量是有限的，且在当前证明技术下该上界是紧的。
• 该结果无需假设真实情况可被假设类完全实现，因此适用于全 realizability 不太可能的现实场景。
• 该证明依赖于神经网络的表示能力及其在多校准所需后处理步骤下的封闭性。
• 该工作为通过标准损失最小化训练深度神经网络可能自然产生跨多样化子群体的更公平预测提供了理论依据。
• 研究结果表明，对实践者而言，损失最小化可能与实现多校准对齐，尤其是在能逃逸局部极小值的迭代优化中。