[论文解读] Solving Empirical Risk Minimization in the Current Matrix Multiplication Time
本文提出了一种新颖的内点法，通过引入一种稳健的确定性中心路径和高效的密集权重更新数据结构，使经验风险最小化（ERM）的求解时间达到当前矩阵乘法指数水平，即 $O^*(n^\rho \log(n/\delta))$，其中 $ ho \approx 2.38$。该方法实现了对精度和条件数的对数依赖，将先前针对线性规划和最小二乘问题的结果推广至更广泛的凸 ERM 问题。
Many convex problems in machine learning and computer science share the same form: \begin{align*} \min_{x} \sum_{i} f_i( A_i x + b_i), \end{align*} where $f_i$ are convex functions on $\mathbb{R}^{n_i}$ with constant $n_i$, $A_i \in \mathbb{R}^{n_i imes d}$, $b_i \in \mathbb{R}^{n_i}$ and $\sum_i n_i = n$. This problem generalizes linear programming and includes many problems in empirical risk minimization. In this paper, we give an algorithm that runs in time \begin{align*} O^* ( ( n^ω + n^{2.5 - α/2} + n^{2+ 1/6} ) \log (n / δ) ) \end{align*} where $ω$ is the exponent of matrix multiplication, $α$ is the dual exponent of matrix multiplication, and $δ$ is the relative accuracy. Note that the runtime has only a log dependence on the condition numbers or other data dependent parameters and these are captured in $δ$. For the current bound $ω\sim 2.38$ [Vassilevska Williams'12, Le Gall'14] and $α\sim 0.31$ [Le Gall, Urrutia'18], our runtime $O^* ( n^ω \log (n / δ))$ matches the current best for solving a dense least squares regression problem, a special case of the problem we consider. Very recently, [Alman'18] proved that all the current known techniques can not give a better $ω$ below $2.168$ which is larger than our $2+1/6$. Our result generalizes the very recent result of solving linear programs in the current matrix multiplication time [Cohen, Lee, Song'19] to a more broad class of problems. Our algorithm proposes two concepts which are different from [Cohen, Lee, Song'19] : $\bullet$ We give a robust deterministic central path method, whereas the previous one is a stochastic central path which updates weights by a random sparse vector. $\bullet$ We propose an efficient data-structure to maintain the central path of interior point methods even when the weights update vector is dense.
研究动机与目标
- 为一般经验风险最小化（ERM）问题的运行时界限填补空白，尽管特定情形已有快速求解器，但缺乏通用的高精度算法。
- 将近期关于在矩阵乘法时间内求解线性规划的结果推广至更广泛的凸 ERM 问题类，支持每个变量的任意凸约束。
- 设计一种方法，实现对精度 $\delta$ 和条件数的对数依赖，避免对光滑性或强凸性参数的多项式依赖。
- 开发一种确定性、稳健的中心路径方法，能高效处理密集权重更新，与先前的随机方法形成对比。
- 在海塞矩阵或权重更新向量为密集时，仍保持内点法的效率，通过一种新型数据结构实现动态路径维护。
提出的方法
- 提出一种稳健的确定性中心路径方法，取代先前工作中使用的随机中心路径，后者通过随机稀疏向量更新权重。
- 引入一种新型数据结构，即使在权重更新向量为密集时，也能高效维护内点法中的中心路径，从而实现快速海塞矩阵更新。
- 利用当前已知的最佳矩阵乘法指数 $\omega \approx 2.38$ 和对偶指数 $\alpha \approx 0.31$ 来界定运行时间。
- 使用 $b$-维随机投影的随机化压缩技术，近似计算矩阵-向量乘积，并通过 Kintchine 不等式确保集中性界。
- 应用并集界和集中不等式，证明在高概率下有 $\|R^\top R h - h\|_\infty \leq \|h\|_2 \cdot \frac{\log(n/\delta)}{\sqrt{b}}$。
- 将中心路径框架与迭代细化和路径跟踪策略相结合，实现 $\delta$-精度下的 $O^*(n^\rho \log(n/\delta))$ 时间复杂度，其中 $\rho = \max(\omega, 2.5 - \alpha/2, 2 + 1/6)$。
实验结果
研究问题
- RQ1经验风险最小化问题是否能在与当前矩阵乘法指数匹配的时间内求解，且独立于条件数？
- RQ2能否设计一种确定性中心路径方法，在密集权重更新下仍保持高效，而不同于先前依赖随机稀疏更新的方法？
- RQ3是否能够仅通过对数依赖精度和条件数，维持内点法中的中心路径？
- RQ4能否通过先进数据结构使 ERM 求解器的运行时间独立于光滑性或强凸性参数？
- RQ5将线性规划求解器推广至更广泛的凸 ERM 问题时，其最小运行时开销是多少？
主要发现
- 该算法的运行时间为 $O^*(n^\rho \log(n/\delta))$，其中 $\rho = \max(\omega, 2.5 - \alpha/2, 2 + 1/6)$，与密集最小二乘回归的最优已知运行时间一致。
- 对于当前的矩阵乘法界（$\omega \approx 2.38$，$\alpha \approx 0.31$），运行时间简化为 $O^*(n^{2.38} \log(n/\delta))$，达到当前矩阵乘法时间水平。
- 该方法实现了对精度 $\delta$ 和条件数的对数依赖，这些因素均包含在 $\delta$ 中，避免了对光滑性或强凸性参数的多项式依赖。
- 所提出的数据显示结构实现了在密集权重更新下的高效路径维护，这是先前内点法中的关键瓶颈。
- 稳健的确定性中心路径方法在稳定性和收敛性保证方面优于随机方法，后者依赖于随机稀疏更新。
- 该结果将近期针对线性规划的 $O^*(n^\omega)$ 算法推广至包含每个变量任意约束维度的广泛凸 ERM 问题类。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。