[论文解读] Max-Affine Regression: Provable, Tractable, and Near-Optimal Statistical Estimation

Avishek Ghosh, Ashwin Pananjady+2 more|arXiv (Cornell University)|Jun 21, 2019

Sparse and Compressive Sensing Techniques参考文献 82被引用 12

一句话总结

本文提出了一种可证明收敛的交替最小化算法用于最大仿射回归，该模型通过将回归函数表示为 $k$ 个仿射函数的最大值，推广了线性回归和相位恢复。该方法在高维随机设计设置下实现了近乎参数级、极小化最大误差率（对数因子内），通过一种新颖的谱方法与随机搜索相结合的初始化方案实现。

ABSTRACT

Max-affine regression refers to a model where the unknown regression function is modeled as a maximum of $k$ unknown affine functions for a fixed $k \geq 1$. This generalizes linear regression and (real) phase retrieval, and is closely related to convex regression. Working within a non-asymptotic framework, we study this problem in the high-dimensional setting assuming that $k$ is a fixed constant, and focus on estimation of the unknown coefficients of the affine functions underlying the model. We analyze a natural alternating minimization (AM) algorithm for the non-convex least squares objective when the design is random. We show that the AM algorithm, when initialized suitably, converges with high probability and at a geometric rate to a small ball around the optimal coefficients. In order to initialize the algorithm, we propose and analyze a combination of a spectral method and a random search scheme in a low-dimensional space, which may be of independent interest. The final rate that we obtain is near-parametric and minimax optimal (up to a poly-logarithmic factor) as a function of the dimension, sample size, and noise variance. In that sense, our approach should be viewed as a direct and implementable method of enforcing regularization to alleviate the curse of dimensionality in problems of the convex regression type. As a by-product of our analysis, we also obtain guarantees on a classical algorithm for the phase retrieval problem under considerably weaker assumptions on the design distribution than was previously known. Numerical experiments illustrate the sharpness of our bounds in the various problem parameters.

研究动机与目标

• 开发一种计算高效且统计最优的参数估计方法，用于最大仿射回归模型，该模型推广了线性回归和相位恢复。
• 通过将函数类限制为固定 $k$ 个仿射函数的最大值，缓解凸回归中的维度灾难问题。
• 建立交替最小化算法在高概率下几何收敛至真实参数附近小邻域的理论保证。
• 提出一种新颖的初始化策略，结合低维空间中的谱方法与随机搜索，该策略本身具有独立研究价值。

提出的方法

• 将最大仿射回归建模为关于 $k$ 个仿射函数的非凸最小二乘问题，其中需估计参数 $\theta_j^*$ 和 $b_j^*$。
• 提出一种交替最小化（AM）算法，通过固定其他参数，迭代优化系数向量 $\theta_j$ 和截距 $b_j$。
• 引入一种新颖的初始化方案，结合低维子空间上的谱方法与候选解的随机搜索，以获得良好的初始点。
• 理论分析采用杜德利的熵积分控制经验过程，通过控制具有受控度量熵的函数类上子高斯过程的上确界。
• 在随机设计假设下，证明了该方法以高概率实现几何收敛速率。
• 推导出一个关键不等式，涉及估计误差 $\delta$，通过平衡统计误差与近似误差，最终得到误差率。

实验结果

研究问题

• RQ1 在高维、随机设计设置下，交替最小化算法能否实现对真实参数的几何收敛？
• RQ2 当 $k$ 固定而 $d$ 增大时，最大仿射回归的最优统计估计速率是什么？
• RQ3 在缺乏凸性的情况下，如何为非凸最大仿射回归构造一种可证明有效的初始化？
• RQ4 所提方法是否在估计误差上达到极小化最大最优性（对数因子内）？
• RQ5 该分析能否扩展以在更弱的设计假设下，为相位恢复提供更强的保证？

主要发现

• 当初始化得当时，交替最小化算法以高概率实现几何收敛，收敛至真实参数的极小邻域。
• 通过谱方法与随机搜索结合的初始化策略，实现的初始化误差在最优值的常数倍以内，从而支持快速收敛。
• 最终估计误差率为 $O\left(\frac{kd(\log k)(\log n)}{n} + \frac{\|\varrho\|^2}{n}\right)$，在 $n$ 的多项对数因子内达到极小化最大最优性。
• 该方法实现了近乎参数级的速率，通过施加结构化的函数类，有效缓解了凸回归中的维度灾难。
• 该分析在远弱于以往已知的假设下，为相位恢复提供了改进的保证。
• 理论界是紧致的，经多种样本量、维度和噪声水平的数值实验验证，结果一致。