[论文解读] Convergence Analysis of Block Coordinate Algorithms with Determinantal Sampling

Mojmír Mutný, Michał Dereziński+1 more|arXiv (Cornell University)|Oct 25, 2019

Stochastic Gradient Optimization Techniques参考文献 34被引用 5

一句话总结

本文提出在随机牛顿法中使用行列式采样进行块坐标选择，使得对海森矩阵过度近似矩阵的期望伪逆可获得闭式表达。这导致收敛速率仅依赖于过度近似矩阵的特征值分布，从而可解析确定最优块大小——尤其在谱快速衰减的核岭回归中表现出指数级加速。

ABSTRACT

We analyze the convergence rate of the randomized Newton-like method introduced by Qu et. al. (2016) for smooth and convex objectives, which uses random coordinate blocks of a Hessian-over-approximation matrix $\bM$ instead of the true Hessian. The convergence analysis of the algorithm is challenging because of its complex dependence on the structure of $\bM$. However, we show that when the coordinate blocks are sampled with probability proportional to their determinant, the convergence rate depends solely on the eigenvalue distribution of matrix $\bM$, and has an analytically tractable form. To do so, we derive a fundamental new expectation formula for determinantal point processes. We show that determinantal sampling allows us to reason about the optimal subset size of blocks in terms of the spectrum of $\bM$. Additionally, we provide a numerical evaluation of our analysis, demonstrating cases where determinantal sampling is superior or on par with uniform sampling.

研究动机与目标

• 为解决使用海森矩阵过度近似的块坐标牛顿法收敛性分析挑战。
• 克服采样海森子矩阵的期望伪逆缺乏闭式表达的问题。
• 提出一种采样策略，以简化收敛速率分析并实现最优块大小选择。
• 证明行列式采样在异质数据设置下性能优于或至少不劣于均匀采样。
• 为基于过度近似矩阵谱特性的最优块大小提供理论与实证依据。

提出的方法

• 提出行列式采样，其中坐标块的选择概率与过度近似矩阵 M 对应子矩阵的行列式成正比。
• 推导出新颖的期望公式：E[(M_S)^+] = (αI + M)^{-1}，其中 α 控制期望块大小。
• 利用该公式将随机牛顿法的收敛速率完全表达为矩阵 M 特征值的函数。
• 通过关联 M 的谱衰减特性，分析最优块大小，特别针对核岭回归场景。
• 在实验中使用近似岭杠杆度作为精确行列式采样的计算高效代理。
• 通过在合成数据和真实 UCI 数据集上的数值实验验证理论预测。

实验结果

研究问题

• RQ1 行列式采样能否为采样海森子矩阵的期望伪逆提供闭式表达？
• RQ2 在行列式采样下，随机牛顿法的收敛速率如何依赖于海森矩阵过度近似矩阵 M 的谱特性？
• RQ3 在行列式采样下，RNM 的最优块大小是什么？其与 M 的特征值衰减有何关系？
• RQ4 在实践中，行列式采样是否优于或至少不劣于均匀采样，特别是在异质数据上？
• RQ5 在真实和合成数据集上，行列式采样下的理论收敛速率预测能否得到实证验证？

主要发现

• 推导出新的期望公式：E[(M_S)^+] = (αI + M)^{-1}，通过消除对复杂块结构的依赖，显著简化了收敛性分析。
• 收敛速率仅依赖于 M 的特征值分布，从而可实现块大小的解析优化。
• 在具有指数衰减谱的核岭回归中，理论上的加速效果为指数级。
• 当特征值衰减迅速时，收敛速率的提升可超过较大块矩阵求逆的额外计算成本，使大块更具优势。
• 在高斯混合模型等异质数据上，行列式采样显著优于均匀采样，因其能更好地覆盖聚类结构。
• 实证结果表明，行列式采样下的最优块大小与均匀采样下的结果高度一致，并与真实数据集（如超导和 cpusmall）上的理论预测相符。