[论文解读] A $N$-Body Solver for Square Root Iteration

Matt Challacombe, Terry Haut+1 more|arXiv (Cornell University)|Aug 24, 2015

Matrix Theory and Algorithms参考文献 2被引用 4

一句话总结

该论文提出了一种稀疏近似矩阵乘法（SpAMM）N体求解器，用于加速矩阵平方根和反平方根的首阶牛顿-舒尔茨迭代。通过采用改进的柯西-施瓦茨准则以剔除乘积张量中的可忽略子体积，该方法实现了降维复杂度，并在收缩恒等迭代下展现出一种新型压缩局部性——透镜效应，从而通过正则化和作用域控制，在病态系统中实现数量级的复杂度降低。

ABSTRACT

We develop the Sparse Approximate Matrix Multiply ($ t SpAMM$) $n$-body solver for first order Newton Schulz iteration of the matrix square root and inverse square root. The solver performs recursive two-sided metric queries on a modified Cauchy-Schwarz criterion, culling negligible sub-volumes of the product-tensor for problems with structured decay in the sub-space metric. These sub-structures are shown to bound the relative error in the matrix-matrix product, and in favorable cases, to enjoy a reduced computational complexity governed by dimensionality reduction of the product volume. A main contribution is demonstration of a new, algebraic locality that develops under contractive identity iteration, with collapse of the metric-subspace onto the identity's plane diagonal, resulting in a stronger $ t SpAMM$ bound. Also, we carry out a first order {Fréchet} analyses for single and dual channel instances of the square root iteration, and look at bifurcations due to ill-conditioning and a too aggressive $ t SpAMM$ approximation. Then, we show that extreme $ t SpAMM$ approximation and contractive identity iteration can be achieved for ill-conditioned systems through regularization, and we demonstrate the potential for acceleration with a scoping, product representation of the inverse factor.

研究动机与目标

• 开发一种用于大规模数值问题中矩阵平方根和反平方根计算的高效N体求解器。
• 利用矩阵度量中的结构化衰减，通过稀疏近似降低计算复杂度。
• 提出一种由牛顿-舒尔茨迭代中收缩恒等迭代引发的新形式代数局部性——透镜效应。
• 通过首阶弗雷歇分析，分析SpAMM近似中的误差累积与数值敏感性。
• 通过正则化和作用域控制，在反因子的乘积表示中实现实际加速。

提出的方法

• 提出一种改进的柯西-施瓦茨准则，用于递归双向度量查询，以剔除乘积张量中的可忽略子体积。
• 采用带阈值的张量积算子 $\otimes_\tau$ 的递归SpAMM核，以近似矩阵-矩阵乘积。
• 引入一种透镜机制：在收缩迭代下，度量子空间坍缩至恒等矩阵的对角平面，从而收紧SpAMM误差界。
• 应用首阶弗雷歇分析，将单通道和双通道迭代中SpAMM遮蔽误差的方向性误差效应与误差幅值分离。
• 在反因子乘积表示中应用正则化和作用域控制，以调控误差并实现复杂度降低。
• 采用按大小分块（BBM）排序和SFC启发式方法，提升子度量空间中的局部性，减少填充并提高缓存效率。

实验结果

研究问题

• RQ1 能否使用改进的柯西-施瓦茨准则来界定SpAMM近似中矩阵平方根乘积的相对误差？
• RQ2 收缩恒等迭代是否诱导出一种新型压缩局部性（透镜效应），从而降低乘积张量的有效维度？
• RQ3 SpAMM近似误差在病态系统中如何累积？正则化在控制分叉现象中起到何种作用？
• RQ4 在反因子乘积表示中，作用域和正则化能在多大程度上降低计算复杂度？
• RQ5 在收缩迭代下，透镜效应和SpAMM界能否在分析上进一步收紧？这是否带来可测量的复杂度降低？

主要发现

• 改进的柯西-施瓦茨准则确保了SpAMM乘积中相对误差的有界性，如公式 (7) 所形式化。
• 透镜效应——即度量子空间在收缩恒等迭代下坍缩至恒等矩阵的对角平面——得以显现，从而实现更紧的SpAMM误差界并降低复杂度。
• 对于病态的6-311G**水箱体系，通过正则化MAYEBOO近似实现的复杂度降低可达未正则化MAYSS方法的两个数量级。
• 在 $\kappa(\boldsymbol{s})=10^{10}$ 的纳米管序列中，MAYEBOO与MAYSS的透镜化乘积体积比为 $n^3$，表明随着体系尺寸增大，复杂度降低潜力显著。
• 数值敏感性主要在 $\boldsymbol{z}$ 通道中因条件数效应而被放大，当 $\tau_s$ 过于激进时会发生分叉，因此需要正则化。
• 在 $\tau_0 = 0.1$ 处的作用域控制可实现对嵌套因子的“按一数量级”切片，为以降低复杂度的方式启动反因子提供了立足点。