[论文解读] Loss Minimization Through the Lens Of Outcome Indistinguishability

Parikshit Gopalan, Lunjia Hu+3 more|arXiv (Cornell University)|Oct 16, 2022

Bayesian Modeling and Causal Inference被引用 3

一句话总结

本文提出了损失结果不可区分性（Loss Outcome Indistinguishability, Loss OI），一种新框架，通过确保预测器在一类损失下与自然的真实结果概率在计算上不可区分，统一了损失最小化与全能预测。研究表明，校准的多精度性——一种新型的公平意识条件——可对广义线性模型中的凸损失实现 Loss OI，从而在无需完整多校准的情况下实现高效的全能预测，并提供了一种性能可与损失特异性优化器相媲美且实用的算法。

ABSTRACT

We present a new perspective on loss minimization and the recent notion of Omniprediction through the lens of Outcome Indistingusihability. For a collection of losses and hypothesis class, omniprediction requires that a predictor provide a loss-minimization guarantee simultaneously for every loss in the collection compared to the best (loss-specific) hypothesis in the class. We present a generic template to learn predictors satisfying a guarantee we call Loss Outcome Indistinguishability. For a set of statistical tests--based on a collection of losses and hypothesis class--a predictor is Loss OI if it is indistinguishable (according to the tests) from Nature's true probabilities over outcomes. By design, Loss OI implies omniprediction in a direct and intuitive manner. We simplify Loss OI further, decomposing it into a calibration condition plus multiaccuracy for a class of functions derived from the loss and hypothesis classes. By careful analysis of this class, we give efficient constructions of omnipredictors for interesting classes of loss functions, including non-convex losses. This decomposition highlights the utility of a new multi-group fairness notion that we call calibrated multiaccuracy, which lies in between multiaccuracy and multicalibration. We show that calibrated multiaccuracy implies Loss OI for the important set of convex losses arising from Generalized Linear Models, without requiring full multicalibration. For such losses, we show an equivalence between our computational notion of Loss OI and a geometric notion of indistinguishability, formulated as Pythagorean theorems in the associated Bregman divergence. We give an efficient algorithm for calibrated multiaccuracy with computational complexity comparable to that of multiaccuracy. In all, calibrated multiaccuracy offers an interesting tradeoff point between efficiency and generality in the omniprediction landscape.

研究动机与目标

• 通过基于结果不可区分性的新计算框架，统一损失最小化与全能预测。
• 识别出一个最小条件——校准的多精度性——以确保在不需完整多校准的情况下，对凸损失实现全能预测。
• 提供一种高效且模块化的算法，用于构建性能可与损失特异性模型比肩或超越的全能预测器。
• 建立 Loss OI 与广义线性模型中凸损失的 Bregman 散度的毕达哥拉斯定理之间的几何等价性。

提出的方法

• 提出损失结果不可区分性（Loss OI）作为计算保证，即预测器在由损失和假设类导出的一类统计检验下，与自然的真实结果分布在计算上不可区分。
• 将 Loss OI 分解为两个模块化条件：基于损失和假设类导出的函数类上的校准性与多精度性。
• 引入校准的多精度性——一种介于多精度性与多校准之间的新型公平性概念——并证明其对凸损失可推出 Loss OI。
• 开发一种高效算法（calMA），结合线性回归实现多精度性与等渗回归实现校准性，其复杂度与标准多精度性相当。
• 建立 Loss OI 与广义线性模型中凸损失的 Bregman 散度的毕达哥拉斯定理之间的几何等价性。
• 采用类似提升的迭代过程对预测进行优化，确保在子群体中同时满足校准性与多精度性。

实验结果

研究问题

• RQ1 是否可以通过单一预测器在不重新训练的情况下，对多个损失函数实现近似最优性能？
• RQ2 预测器的何种最小条件可确保其在给定损失类中的所有损失上均有效？
• RQ3 校准的多精度性与现有公平性与校准概念（如多精度性与多校准）有何关系？
• RQ4 Loss OI 是否能通过凸损失的 Bregman 散度实现几何表征？
• RQ5 是否存在一种高效算法，可在不需完整多校准的情况下实现 Loss OI？

主要发现

• 校准的多精度性可对广义线性模型中产生的所有凸损失实现 Loss OI，且无需完整多校准。
• 所提出的 calMA 算法在性能上可与损失特异性优化器比肩，通常在多种损失类型上表现更优。
• 在实验中，calMA 在高维设置（d=10）下实现了 ℓ2 损失为 0.06、ℓ1 损失为 0.08、指数损失为 1.13、对数损失为 0.22，优于标准线性回归。
• 该框架建立了 Loss OI 与凸损失在 Bregman 散度中的几何毕达哥拉斯定理之间的直接等价性。
• 校准的多精度性严格弱于多校准，但强于多精度性，为全能预测中的效率与通用性提供了新的权衡。
• 理论分析表明，任何单增函数（如 SIMs 中的函数）均无法对非单增的真实函数实现校准的多精度性，凸显了所提方法的必要性。