[论文解读] Analysis of a Classical Matrix Preconditioning Algorithm

Leonard J. Schulman, Alistair Sinclair|arXiv (Cornell University)|Apr 12, 2015

Matrix Theory and Algorithms参考文献 15被引用 5

一句话总结

本文首次对经典 Osborne-Parlett-Reinsch 矩阵平衡算法在 $L_∞$ 范数下的收敛速率进行了分析。证明了该算法的一种自然变体在 $O(n^3 "log(n\rho/\varepsilon))$ 次平衡操作内收敛，适用于不可约的 $n \times n$ 矩阵，其中 $\rho$ 衡量初始不平衡程度，$\varepsilon$ 为目标不平衡程度，总运行时间为 $\widetilde{O}(n^2 m)$，$m$ 为非零元素个数。

ABSTRACT

We study a classical iterative algorithm for balancing matrices in the $L_\infty$ norm via a scaling transformation. This algorithm, which goes back to Osborne and Parlett \& Reinsch in the 1960s, is implemented as a standard preconditioner in many numerical linear algebra packages. Surprisingly, despite its widespread use over several decades, no bounds were known on its rate of convergence. In this paper we prove that, for any irreducible $n imes n$ (real or complex) input matrix~$A$, a natural variant of the algorithm converges in $O(n^3\log(nρ/\varepsilon))$ elementary balancing operations, where $ρ$ measures the initial imbalance of~$A$ and $\varepsilon$ is the target imbalance of the output matrix. (The imbalance of~$A$ is $\max_i |\log(a_i^{ ext{out}}/a_i^{ ext{in}})|$, where $a_i^{ ext{out}},a_i^{ ext{in}}$ are the maximum entries in magnitude in the $i$th row and column respectively.) This bound is tight up to the $\log n$ factor. A balancing operation scales the $i$th row and column so that their maximum entries are equal, and requires $O(m/n)$ arithmetic operations on average, where $m$ is the number of non-zero elements in~$A$. Thus the running time of the iterative algorithm is $ ilde{O}(n^2m)$. This is the first time bound of any kind on any variant of the Osborne-Parlett-Reinsch algorithm. We also prove a conjecture of Chen that characterizes those matrices for which the limit of the balancing process is independent of the order in which balancing operations are performed.

研究动机与目标

• 通过首次为 Osborne-Parlett-Reinsch 矩阵平衡算法提供收敛速率上界，填补理论理解上的长期空白。
• 分析该算法在 $L_\infty$ 范数下的变体，该变体广泛应用于数值线性代数软件中，但此前缺乏运行时间保证。
• 证明 Chen 关于平衡过程极限与操作顺序无关的唯一性猜想。
• 建立实现 $\varepsilon$-平衡所需平衡操作数的紧致上界，明确依赖于 $n$、$\rho$ 和 $\varepsilon$。

提出的方法

• 该算法在随机选择的索引上执行迭代平衡操作，通过缩放第 $i$ 行和第 $i$ 列，使其中最大元素的绝对值相等。
• 分析引入了一个势函数 $\Psi(t) = -\sum_v y_v(t)$，其单调递减并衡量向平衡状态的进展。
• 每次操作下，$\Psi(t)$ 的期望下降量有下界 $\frac{1}{2n^3} \Psi(t)$，从而可通过马尔可夫不等式进行几何衰减分析。
• 该方法将过程划分为‘提升’和‘降低’两个阶段，以确保单调进展，并支持对不平衡程度减少的分析。
• 证明使用了将矩阵视为有向加权图的图论解释，其中顶点高度表示不平衡水平。
• 关键技术步骤利用了最小高度 $y_{\min}(t)$ 不超过平均值的事实，从而为势函数的期望下降量提供下界。

实验结果

研究问题

• RQ1 经典 Osborne-Parlett-Reinsch 矩阵平衡算法在 $L_\infty$ 范数下的最坏情况收敛速率是多少？
• RQ2 能否为实现 $\varepsilon$-平衡所需的操作数建立理论界限？
• RQ3 在何种条件下，平衡过程的极限与操作顺序无关？
• RQ4 $O(n^3 \log(n\rho/\varepsilon))$ 的界限是否在对数因子范围内紧致？
• RQ5 该分析能否推广至处理任意操作序列或其他 $L_p$ 范数？

主要发现

• 对于任意不可约的 $n \times n$ 矩阵，该算法在 $O(n^3 "log(n\rho/\varepsilon))$ 次平衡操作内收敛，其中 $\rho$ 为初始不平衡度，$\varepsilon$ 为目标不平衡度。
• 总运行时间为 $\widetilde{O}(n^2 m)$，其中 $m$ 为非零元素个数，因为平均每步平衡操作涉及 $O(m/n)$ 次操作。
• 该界限在 $\log n$ 因子范围内是紧致的，表明该算法在最坏情况下近乎最优。
• 本文证明了 Chen 的猜想：当且仅当矩阵为单边平衡（UB）时，平衡过程的极限与操作顺序无关。
• 该分析引入了一种新颖的势函数 $\Psi(t)$，用于追踪不平衡程度，并通过马尔可夫不等式实现集中性分析，从而以高概率界定了收敛时间。
• 该结果通过提供首个已知的 Osborne-Parlett-Reinsch 算法变体的运行时间界限，解决了一个数十年之久的开放问题。