[论文解读] Minimizing Quadratic Functions in Constant Time

Kohei Hayashi, Yuichi Yoshida|arXiv (Cornell University)|Aug 25, 2016

Sparse and Compressive Sensing Techniques参考文献 20被引用 4

一句话总结

该论文提出了一种基于采样的方法，以常数时间近似计算二次函数的最小值，且与维度 $ n $ 无关。通过随机采样 $ k $ 个索引并求解降维后的子问题，该方法在高概率 $ 1-\delta $ 下实现 $ O(\epsilon n^2) $ 的误差，相较于现有方法在大规模问题上的运行时间和精度方面表现更优。

ABSTRACT

A sampling-based optimization method for quadratic functions is proposed. Our method approximately solves the following $n$-dimensional quadratic minimization problem in constant time, which is independent of $n$: $z^*=\min_{\mathbf{v} \in \mathbb{R}^n}\langle\mathbf{v}, A \mathbf{v} angle + n\langle\mathbf{v}, \mathrm{diag}(\mathbf{d})\mathbf{v} angle + n\langle\mathbf{b}, \mathbf{v} angle$, where $A \in \mathbb{R}^{n imes n}$ is a matrix and $\mathbf{d},\mathbf{b} \in \mathbb{R}^n$ are vectors. Our theoretical analysis specifies the number of samples $k(δ, ε)$ such that the approximated solution $z$ satisfies $|z - z^*| = O(εn^2)$ with probability $1-δ$. The empirical performance (accuracy and runtime) is positively confirmed by numerical experiments.

研究动机与目标

• 解决高维问题中二次最小化方法的可扩展性瓶颈，因为标准方法需要 $ O(n^3) $ 时间。
• 设计一种方法，使得在大规模应用中，能够在与 $ n $ 无关的常数时间内计算出二次函数的最优值。
• 确保近似误差以高概率 $ 1-\delta $ 被控制在 $ O(\epsilon n^2) $ 以内，使其适用于统计和机器学习任务。
• 在大规模问题上，其运行时间和精度均优于现有的次线性方法（如 Nyström 方法）。

提出的方法

• 该方法从 $ \{1, \dots, n\} $ 中均匀随机采样 $ k = k(\epsilon, \delta) $ 个索引，形成采样索引上的子问题。
• 在采样得到的子矩阵 $ A|_S $、子向量 $ \mathbf{d}|_S $ 和 $ \mathbf{b}|_S $ 上求解降维后的二次最小化问题。
• 通过将最终估计值乘以 $ \frac{n^2}{k^2} $ 来近似原始问题的最优值。
• 理论分析利用图极限理论来界定原始问题与采样问题之间的距离，从而确保误差控制。
• 该方法假设对 $ A $、$ \mathbf{d} $ 和 $ \mathbf{b} $ 具备查询访问能力，并在实随机存取机（real RAM）模型下运行。
• 采样数量 $ k(\epsilon, \delta) $ 的推导旨在保证 $ |z - z^*| = O(\epsilon n^2) $ 的概率为 $ 1 - \delta $。

实验结果

研究问题

• RQ1 高维二次函数的最小值能否在与 $ n $ 无关的常数时间内被近似？
• RQ2 为实现以高概率 $ 1-\delta $ 达到 $ O(\epsilon n^2) $ 的误差，所需的采样数 $ k(\epsilon, \delta) $ 是多少？
• RQ3 在大规模问题上，所提出的采样方法在精度和运行时间上与 Nyström 方法及二次规划相比如何？
• RQ4 该方法能否有效应用于核方法中的估计问题，如皮尔逊散度？

主要发现

• 所提方法在仅使用 $ O(k^2) $ 次查询和 $ \mathrm{poly}(k) $ 时间下，以概率 $ 1 - \delta $ 实现 $ O(\epsilon n^2) $ 的近似误差，其中 $ k = k(\epsilon, \delta) $。
• 数值实验表明，绝对近似误差经 $ n^2 $ 缩放后在不同 $ n $ 下保持稳定，验证了理论误差边界的正确性。
• 在皮尔逊散度估计任务中，所提方法的误差显著低于 Nyström 方法：当 $ k=160 $ 时，误差为 $ 0.0003 \pm 0.0003 $，而 Nyström 方法为 $ 0.0254 \pm 0.0285 $。
• 所提方法的运行时间在 $ n = 500 $ 到 $ 5000 $ 的范围内基本保持恒定，为 $ 0.002 $ 至 $ 0.035 $ 秒，而 Nyström 方法的运行时间从 $ 0.005 $ 增加到 $ 1.972 $ 秒。
• 由于其常数时间复杂度，该方法在精度和效率方面均优于 Nyström 方法，尤其在 $ k $ 较大时优势更明显。
• 该方法可应用于核方法，例如通过将问题编码为一般二次形式来估计皮尔逊散度。