[论文解读] Evaluating Robustness to Dataset Shift via Parametric Robustness Sets

Nikolaj Thams, Michael Oberst+1 more|arXiv (Cornell University)|May 31, 2022

Machine Learning and Data Classification参考文献 36被引用 5

一句话总结

本文引入参数化鲁棒性集合，通过在因果机制中建模分布变化的扰动，主动评估模型在合理数据分布偏移下的鲁棒性。提出了一种损失在偏移下的二阶近似，通过非凸二次规划实现高效的最坏情况偏移检测，提供了近似误差的理论界，并在性别分类任务上进行了经验验证，显示出对非因果属性偏移的敏感性。

ABSTRACT

We give a method for proactively identifying small, plausible shifts in distribution which lead to large differences in model performance. These shifts are defined via parametric changes in the causal mechanisms of observed variables, where constraints on parameters yield a "robustness set" of plausible distributions and a corresponding worst-case loss over the set. While the loss under an individual parametric shift can be estimated via reweighting techniques such as importance sampling, the resulting worst-case optimization problem is non-convex, and the estimate may suffer from large variance. For small shifts, however, we can construct a local second-order approximation to the loss under shift and cast the problem of finding a worst-case shift as a particular non-convex quadratic optimization problem, for which efficient algorithms are available. We demonstrate that this second-order approximation can be estimated directly for shifts in conditional exponential family models, and we bound the approximation error. We apply our approach to a computer vision task (classifying gender from images), revealing sensitivity to shifts in non-causal attributes.

研究动机与目标

• 仅使用训练数据和领域知识，主动评估模型对数据分布偏移的鲁棒性。
• 通过条件指数族模型的参数化扰动，定义一组因果可解释且现实的分布偏移集合。
• 开发一种高效方法，识别使期望损失最大化的最坏情况偏移。
• 通过识别最具破坏性的合理偏移，提供可解释且可操作的模型弱点洞察。

提出的方法

• 将数据分布偏移建模为观测变量条件分布的参数化变化，使用有界参数空间 ∆ 以确保现实性。
• 将偏移后的分布表示为训练分布的重新加权，从而支持重要性采样进行损失估计。
• 推导出在偏移下期望损失的局部二阶泰勒近似，避免高方差的重新加权估计。
• 将最坏情况偏移检测问题转化为非凸二次约束二次规划（QCQP），可使用高效优化算法求解。
• 对二阶近似目标函数的近似误差进行边界约束，以确保所识别最坏情况偏移的可靠性。
• 将该方法应用于条件指数族模型，包括高斯和离散条件分布，推导出偏移梯度和海塞矩阵的闭式表达式。

实验结果

研究问题

• RQ1 我们如何定义一组反映现实世界数据生成过程合理变化的、因果可解释且现实的分布偏移？
• RQ2 这些偏移对模型性能有何影响？我们能否在有界参数空间内高效识别最坏情况偏移？
• RQ3 损失在偏移下的二阶近似能否作为重要性采样在最坏情况评估中的可靠且计算高效的替代方法？
• RQ4 二阶近似代理目标的近似误差与真实最坏情况损失相比如何？它能否识别出有意义的对抗性偏移？
• RQ5 模型在非因果属性（如测试策略或人口统计代理变量）的偏移下敏感程度如何？

主要发现

• 在偏移下期望损失的二阶近似提供了一种可靠且低方差的替代方法，尤其适用于小偏移。
• 当参数空间 ∆ 为二次约束时，最坏情况偏移检测问题可高效地作为非凸QCQP求解，实现可扩展优化。
• 该方法在计算机视觉任务中成功识别出具有影响力的对抗性偏移，揭示了对非因果属性（如测试策略）偏移的高敏感性。
• 近似误差的理论边界表明，二阶代理目标在小扰动下能紧密跟踪真实最坏情况损失。
• 在实验中，该方法识别出所有健康患者都被测试而无任何患病患者被测试的场景——一种不切实际但最坏情况的设定——展示了其暴露模型漏洞的能力。
• 对于高斯模型，偏移梯度和海塞矩阵以闭式推导，实现了对均值偏移下损失的精确二阶近似。