[论文解读] Iterative Hessian sketch: Fast and accurate solution approximation for constrained least-squares

Mert Pilancı, Martin J. Wainwright|arXiv (Cornell University)|Nov 3, 2014

Sparse and Compressive Sensing Techniques参考文献 40被引用 32

一句话总结

本文提出了一种新型随机算法——迭代Hessian压缩（iterative Hessian sketch），用于在约束最小二乘问题中实现快速且精确的解逼近。通过利用Hessian信息迭代优化基于压缩的解，该方法在统计复杂度下实现最优投影维数缩放，并以对数级迭代次数显著优于经典压缩方法的解逼近误差。

ABSTRACT

We study randomized sketching methods for approximately solving least-squares problem with a general convex constraint. The quality of a least-squares approximation can be assessed in different ways: either in terms of the value of the quadratic objective function (cost approximation), or in terms of some distance measure between the approximate minimizer and the true minimizer (solution approximation). Focusing on the latter criterion, our first main result provides a general lower bound on any randomized method that sketches both the data matrix and vector in a least-squares problem; as a surprising consequence, the most widely used least-squares sketch is sub-optimal for solution approximation. We then present a new method known as the iterative Hessian sketch, and show that it can be used to obtain approximations to the original least-squares problem using a projection dimension proportional to the statistical complexity of the least-squares minimizer, and a logarithmic number of iterations. We illustrate our general theory with simulations for both unconstrained and constrained versions of least-squares, including $\ell_1$-regularization and nuclear norm constraints. We also numerically demonstrate the practicality of our approach in a real face expression classification experiment.

研究动机与目标

• 填补随机压缩方法在约束最小二乘问题中解逼近质量方面的研究空白。
• 指出即使在代价逼近方面最优，经典最小二乘压缩方法在解逼近方面仍为次优。
• 开发一种新方法，实现最小压缩维数与较少迭代次数下的最优解逼近。
• 为一般凸约束下的解逼近误差提供理论保证，包括ℓ₁和核范数正则化。
• 通过仿真与真实世界的人脸表情分类实验，验证方法的实际有效性。

提出的方法

• 提出迭代Hessian压缩算法，通过基于Hessian的更新迭代地对压缩解进行优化。
• 使用压缩矩阵 $ S \in \mathbb{R}^{m \times n} $ 将数据矩阵 $ A $ 和向量 $ y $ 投影到低维空间。
• 在每次迭代中，求解压缩后的最小二乘问题 $ \widetilde{x} = \arg\min_{x \in \mathcal{C}} \frac{1}{2n} \| S A x - S y \|_2^2 $，以更新解的估计值。
• 利用目标函数的Hessian信息引导迭代优化，使解的精度超越单次压缩的水平。
• 通过预测范数 $ \| \widetilde{x} - x^{\text{LS}} \|_A $ 控制解逼近误差，并给出期望误差的理论界。
• 应用测度集中与高斯过程技术，推导解误差的尾部界，确保高概率保证。

实验结果

研究问题

• RQ1 为何经典最小二乘压缩方法在解逼近方面次优，即使其在代价逼近方面最优？
• RQ2 能否设计一种压缩方法，实现在最小压缩维数与较少迭代次数下的最优解逼近误差？
• RQ3 在约束最小二乘问题中，实现给定解逼近误差所需的最小压缩维数是多少？
• RQ4 与经典压缩方法相比，迭代Hessian压缩在解精度与收敛速度方面表现如何？
• RQ5 该方法能否推广至任意凸约束，包括ℓ₁与核范数正则化？

主要发现

• 经典最小二乘压缩在解逼近方面次优，这一结论由对同时压缩 $ A $ 和 $ y $ 的任意随机方法的一般下界所证实。
• 迭代Hessian压缩在高概率下实现解逼近误差 $ \mathbb{E}[\| \widetilde{x} - x^{\text{LS}} \|_A^2] \leq 16t\varepsilon_n $，其中 $ \varepsilon_n $ 取决于最优解的统计复杂度。
• 该方法所需的压缩维数与解的统计复杂度成正比，而非环境维数，从而实现显著的计算节省。
• 迭代次数与所需精度呈对数级缩放，使该方法在高维问题中具有高效性。
• 理论界表明，解逼近误差随 $ n t \varepsilon_n / \sigma^2 $ 指数衰减，确保高概率收敛。
• 仿真与真实世界实验（包括人脸表情分类）证实，该方法在解逼近精度方面显著优于经典压缩方法。