[论文解读] A Computational Framework for Multivariate Convex Regression and Its Variants

Rahul Mazumder, Arkopal Choudhury+2 more|arXiv (Cornell University)|Sep 28, 2015

Sparse and Compressive Sensing Techniques参考文献 33被引用 8

一句话总结

该论文提出了一种基于增广拉格朗日法和一阶优化的可扩展计算框架，以高效计算多变量凸回归的非参数最小二乘估计量（LSE），该估计量在标准二次规划公式下因存在 O(n²) 个约束而难以处理。该方法使大规模 n（高达 n ≈ 5000）的计算成为可能，提供了具有形式化误差界平滑凸近似，并可自然扩展至带Lipschitz约束和单调凸回归等变体，且具有可证明的收敛速率。

ABSTRACT

We study the nonparametric least squares estimator (LSE) of a multivariate convex regression function. The LSE, given as the solution to a quadratic program with <i>O</i>(<i>n</i>²) linear constraints (<i>n</i> being the sample size), is difficult to compute for large problems. Exploiting problem specific structure, we propose a scalable algorithmic framework based on the augmented Lagrangian method to compute the LSE. We develop a novel approach to obtain smooth convex approximations to the fitted (piecewise affine) convex LSE and provide formal bounds on the quality of approximation. When the number of samples is not too large compared to the dimension of the predictor, we propose a regularization scheme—Lipschitz convex regression—where we constrain the norm of the subgradients, and study the rates of convergence of the obtained LSE. Our algorithmic framework is simple and flexible and can be easily adapted to handle variants: estimation of a nondecreasing/nonincreasing convex/concave (with or without a Lipschitz bound) function. We perform numerical studies illustrating the scalability of the proposed algorithm—on some instances our proposal leads to more than a 10,000-fold improvement in runtime when compared to off-the-shelf interior point solvers for problems with <i>n</i> = 500.

研究动机与目标

• 解决标准二次规划公式中因存在 O(n²) 个约束而导致的多变量凸回归LSE计算不可行性。
• 开发一种可扩展的一阶优化框架，利用问题特异性结构以高效计算凸LSE。
• 为分段仿射LSE提供平滑凸近似，并推导近似误差的形式化界。
• 将框架扩展至Lipschitz约束、单调性及凹/凸回归等变体，并提供理论收敛速率。
• 通过大规模问题的数值实验，展示方法的可扩展性与鲁棒性。

提出的方法

• 将多变量凸回归建模为带有 O(n²) 个关于函数值与次梯度线性约束的二次规划（QP）。
• 采用增广拉格朗日法将QP分解为可处理的子问题，从而实现可扩展的一阶优化。
• 使用Nesterov风格的快速梯度法高效求解对偶子问题，利用约束矩阵中的稀疏性与结构特性。
• 通过求解带平滑参数 τ 的正则化对偶问题，推导出对分段仿射LSE的平滑凸近似。
• 通过约束次梯度范数，引入Lipschitz凸回归变体，实现更优的统计收敛速率。
• 通过在次梯度上增加额外的线性约束，将框架适配以处理单调性约束（非减/非增）。

实验结果

研究问题

• RQ1 对于 n > 300 的大规模问题，非参数凸LSE是否能以高效方式计算，使得内点法失效？
• RQ2 对分段仿射LSE的平滑凸近似质量如何，能否推导出形式化的误差界？
• RQ3 在Lipschitz约束下，LSE的收敛速率表现如何，高维设置下的最优收敛速率是什么？
• RQ4 该算法框架能否在不牺牲可扩展性的前提下，扩展至处理单调性约束（如非减凸函数）？
• RQ5 与现成求解器相比，该方法在真实与合成数据上的经验可扩展性如何？

主要发现

• 所提算法可在中等精度下计算出 n ≈ 5000 的多变量凸LSE，显著超越现成内点法求解器的可扩展性极限。
• 通过对偶平滑技术推导出LSE的平滑凸近似，近似误差以 O(τ) 为界，其中 τ 为平滑参数。
• 在Lipschitz约束下，LSE达到最小最大最优收敛速率 r_n = O(n^{-2/(d+4)})，适用于 d 维预测变量。
• 该算法在单调凸/凹回归等变体中仍保持可扩展性与收敛性，且具有关于一致性和收敛性的理论保证。
• 数值实验结果证实，该方法在多样化示例中（包括高维与大样本情形）均表现出高效性与鲁棒性。
• 该框架具有高度灵活性，可轻松适配额外约束（如有界次梯度或单调性），而无需改变核心算法结构。