[论文解读] Efficient algorithms for multivariate shape-constrained convex regression problems

Meixia Lin, Defeng Sun+1 more|arXiv (Cornell University)|Feb 26, 2020

Sparse and Compressive Sensing Techniques参考文献 32被引用 7

一句话总结

该论文提出了用于多变量形状约束凸回归的高效算法，将最小二乘估计器表述为具有 (n+1)d 个变量和 n(n−1) 个约束的大规模凸二次规划问题。提出了两种求解器——sGS-ADMM 和带有半光滑牛顿子问题的 pALM，其在篮子期权定价和生产函数估计中均优于现有最先进方法。

ABSTRACT

Shape-constrained convex regression problem deals with fitting a convex function to the observed data, where additional constraints are imposed, such as component-wise monotonicity and uniform Lipschitz continuity. This paper provides a comprehensive mechanism for computing the least squares estimator of a multivariate shape-constrained convex regression function in $\mathbb{R}^d$. We prove that the least squares estimator is computable via solving a constrained convex quadratic programming (QP) problem with $(n+1)d$ variables and at least $n(n-1)$ linear inequality constraints, where $n$ is the number of data points. For solving the generally very large-scale convex QP, we design two efficient algorithms, one is the symmetric Gauss-Seidel based alternating direction method of multipliers ({ t sGS-ADMM}), and the other is the proximal augmented Lagrangian method ({ t pALM}) with the subproblems solved by the semismooth Newton method ({ t SSN}). Comprehensive numerical experiments, including those in the pricing of basket options and estimation of production functions in economics, demonstrate that both of our proposed algorithms outperform the state-of-the-art algorithm. The { t pALM} is more efficient than the { t sGS-ADMM} but the latter has the advantage of being simpler to implement.

研究动机与目标

• 解决大规模多变量凸回归问题在单调性和Lipschitz连续性等形状约束下的计算挑战。
• 为在这些约束下凸函数的最小二乘估计器构建一个计算上可行的框架。
• 设计可扩展的算法，能够处理大规模数据集（n > 1000）和中等维度（d 最高达 80），其中内点法因内存限制而失效。
• 确保在金融工程和计量经济学等多样化应用中（如期权定价和生产函数估计）具有稳健性能。
• 为大规模问题提供收敛性保证和实际效率，而现有方法如 PAPG 和三块 ADMM 则过慢或缺乏收敛性证明。

提出的方法

• 将形状约束凸回归问题表述为具有 (n+1)d 个变量和至少 n(n−1) 个线性不等式约束的约束凸二次规划（QP），以强制实现凸性和单调性。
• 采用基于对称高斯-赛德尔的 ADMM（sGS-ADMM）求解 QP，利用块高斯-赛德尔更新以提升收敛性和稳定性。
• 开发带有半光滑牛顿（SSN）子问题的近端增广拉格朗日法（pALM），以加速收敛并提高效率。
• 使用预条件和热启动策略，提升两种算法在大规模问题上的性能。
• 将算法整合到统一框架中，支持分量单调性和统一Lipschitz连续性约束。
• 在金融和经济的真实数据集中应用算法，通过数值实验验证其可扩展性和准确性。

实验结果

研究问题

• RQ1 我们能否高效计算多变量形状约束凸回归的最小二乘估计器，包括单调性和Lipschitz连续性等约束？
• RQ2 在大规模问题上，所提出的 sGS-ADMM 和 pALM 算法在收敛速度、内存使用和鲁棒性方面如何比较？
• RQ3 这些算法能否高效处理 n > 1000 且 d > 10 的真实世界数据集，而内点法因内存限制无法处理？
• RQ4 在期权定价和生产函数估计等应用中，形状约束在多大程度上提升了估计精度？
• RQ5 pALM 搭配 SSN 子问题是否在计算时间上优于 sGS-ADMM，同时保持收敛性保证？

主要发现

• 多变量形状约束凸回归的最小二乘估计器可通过具有 (n+1)d 个变量和至少 n(n−1) 个线性约束的凸 QP 求解。
• 带有 SSN 子问题的 pALM 比 sGS-ADMM 更快，在 d=80 且 n=1600 的问题上可在 1 分钟内求解，而 PAPG 需要 17 分钟。
• sGS-ADMM 算法实现更简单，尤其在中等规模问题上表现良好。
• 在 M=10 的篮子期权定价中，形状约束模型（SC）在 3 分钟 52 秒内使用 600 个数据点达到 MSE ≈ 1.49，显著优于无约束模型（UC）的 MSE ≈ 42.9。
• 对于平均周薪数据集（n=857），形状约束模型在 1 分钟内求解完成，得到经验与转换后教育水平的凹函数。
• 智利塑料工业生产函数估计（n=250）耗时 3 秒，比利时企业数据（n=562）耗时 22 秒，两者均具有高精度和形状一致性。