[论文解读] Multivariate Distributionally Robust Convex Regression under Absolute Error Loss

José Blanchet, Peter W. Glynn+2 more|arXiv (Cornell University)|May 29, 2019

Statistical Methods and Inference参考文献 24被引用 10

一句话总结

本文提出了一种分布鲁棒凸回归估计器，通过在经验测度的Wasserstein扰动下最小化最坏情况下的绝对误差，得到一个具有新型基于梯度的正则化的可计算线性规划。该方法在不需假设紧致域或对函数及其梯度的先验界条件下，实现了$\widetilde{O}(n^{-1/d})$的收敛速率，在合成数据和真实世界实验中均优于现有估计器。

ABSTRACT

This paper proposes a novel non-parametric multidimensional convex regression estimator which is designed to be robust to adversarial perturbations in the empirical measure. We minimize over convex functions the maximum (over Wasserstein perturbations of the empirical measure) of the absolute regression errors. The inner maximization is solved in closed form resulting in a regularization penalty involves the norm of the gradient. We show consistency of our estimator and a rate of convergence of order $ \widetilde{O}\left( n^{-1/d} ight) $, matching the bounds of alternative estimators based on square-loss minimization. Contrary to all of the existing results, our convergence rates hold without imposing compactness on the underlying domain and with no a priori bounds on the underlying convex function or its gradient norm.

研究动机与目标

• 开发一种对经验测度中对抗性扰动具有鲁棒性的非参数凸回归估计器。
• 最小化绝对误差损失而非平方误差，以降低对异常值的敏感性。
• 消除对定义域紧致性或对凸函数及其梯度范数的先验边界的依赖。
• 在不施加严格假设的条件下，建立与现有平方损失估计器相当的收敛速率。
• 在经验上证明其优于最小二乘和基于核的凸回归估计器。

提出的方法

• 将分布鲁棒优化问题公式化，以在经验测度周围的Wasserstein球内最小化最坏情况下的期望绝对误差。
• 使用仅扰动预测变量而非响应变量的Wasserstein度量，以反映响应中的测量误差。
• 以闭式解求解内层最大化问题，得到与估计函数梯度的$L^1$-范数成比例的正则化惩罚。
• 由于绝对误差结构，将标准二次规划（基于平方损失）替换为计算上可处理的线性规划。
• 采用数据驱动的不确定性半径$\delta_n$，以确保一致性和最优收敛速率。
• 将该方法应用于具有轻尾和重尾协变量的合成数据以及一个真实世界的环境排放数据集。

实验结果

研究问题

• RQ1 能否开发一种对经验测度中对抗性扰动具有鲁棒性的凸回归估计器，且无需假设定义域的紧致性？
• RQ2 与最小化平方误差相比，最小化绝对误差损失是否能带来更好的鲁棒性和收敛速率？
• RQ3 能否在不施加对函数或其梯度范数的先验界条件下，实现$\widetilde{O}(n^{-1/d})$的收敛速率？
• RQ4 所提出的估计器与最小二乘和基于核的凸回归方法相比，经验表现如何？
• RQ5 该方法在重尾协变量和真实世界应用中是否仍能保持优异性能？

主要发现

• 所提出的分布鲁棒凸回归估计器实现了$\widetilde{O}(n^{-1/d})$的收敛速率，与基于平方损失估计器的最佳已知速率相当。
• 该方法无需对底层凸函数或其梯度范数施加先验界，也无需要求定义域为紧致。
• 在具有轻尾和重尾协变量的合成实验中，该估计器在$l_1$和$l_2$损失下均优于最小二乘和基于核的估计器。
• 最小二乘估计器的性能对Lipschitz常数$c$的选择高度敏感，而所提方法对此类调参具有鲁棒性。
• 在真实世界的环境排放数据集上，DRCR估计器的平均测试$l_1$误差为0.1294，低于最小二乘法（0.1516）和线性回归（0.1692）。
• 实证结果证实，DRCR公式中的基于梯度的正则化在方法的鲁棒性和性能中起到了关键作用。