[论文解读] Convergence of the Conjugate Gradient Method on Singular Systems

Ken Hayami|arXiv (Cornell University)|Sep 4, 2018

Matrix Theory and Algorithms参考文献 6被引用 7

一句话总结

本论文对对称正半定奇异系统上的共轭梯度（CG）方法提供了严格的收敛性分析，通过正交对角化将算法分解为范围空间与零空间分量。证明了当系统相容时，CG 方法收敛于解，并将分析扩展至秩亏秩最小二乘问题的 CGLS 与 CGNE 方法，表明在标准初始化下，这些方法收敛于最小范数解。

ABSTRACT

We analyze the convergence of the Conjugate Gradient (CG) method in exact arithmetic, when the coefficient matrix $A$ is symmetric positive semidefinite and the system is consistent. To do so, we diagonalize $A$ and decompose the algorithm into the range and the null space components of $A$. Further, we apply the analysis to the CGLS and CGNE (CG Normal Error) methods for rank-deficient least squares problems.

研究动机与目标

• 研究在精确算术下，共轭梯度（CG）方法应用于对称正半定奇异系统时的收敛行为。
• 利用正交对角化，将 CG 算法分解为矩阵 A 的范围空间与零空间分量。
• 将 CG 的收敛性分析扩展至求解秩亏最小二乘问题的 CGLS 与 CGNE 方法。
• 建立这些方法收敛于最小范数解的条件。
• 推导 CGLS 与 CGNE 方法中残差减少的误差界，其表达式以 A 的奇异值表示。

提出的方法

• 使用正交变换 Q 对对称正半定矩阵 A 进行对角化，使得 Q^T A Q = diag(Λ_r, 0)，其中 Λ_r 包含正特征值。
• 通过变换 ṽ = Q^T v 将所有向量（x, r, p）分解为 R(A) 和 N(A) 中的分量，得到 v¹ ∈ R(A) 与 v² ∈ N(A)。
• 在分解后的空间中分析 CG 迭代，表明 R(A) 分量的演化方式与正定系统上的标准 CG 相同，而 N(A) 分量保持不变。
• 通过将最小二乘问题重述为涉及 A^T A 或 A A^T 的法方程，对 CGLS 与 CGNE 方法应用相同的分解。
• 利用 CG 在变换后系统上的收敛性质，证明解的 R(A) 分量收敛于 A^†b，即最小范数解。
• 推导 CGLS 与 CGNE 方法中残差的误差界，表明其线性收敛速率为 (σ₁ - σᵣ)/(σ₁ + σᵣ)，其中 σ₁ 与 σᵣ 分别为 A 的最大与最小非零奇异值。

实验结果

研究问题

• RQ1 当对称正半定奇异系统应用共轭梯度方法时，在何种条件下其收敛？
• RQ2 CG 迭代如何分解为 A 的范围空间与零空间分量？这些分量在迭代过程中如何演化？
• RQ3 当 A 秩亏且 b ∈ R(A) 时，CGLS 方法是否收敛于最小范数解？
• RQ4 当初始化于 A^T 的值域中时，CGNE 方法在欠定最小二乘问题中是否收敛于最小范数解？
• RQ5 对于秩亏系统，CGLS 与 CGNE 方法中残差的收敛速率如何？能否以 A 的奇异值表示其上界？

主要发现

• 当 A 为对称正半定且 b ∈ R(A) 时，即使 A 奇异，CG 方法也能在有限步内收敛于 Ax = b 的解。
• 若初始迭代点位于 R(A^T) 中（例如 x₀ = 0），则 R(A) 中的解分量收敛于 A^†b，即最小范数解。
• 解的零空间分量在 CG 迭代过程中保持恒定，其值等于初始 x₀² 分量。
• 对于 CGLS 方法，R(A) 中的残差范数满足 ||r_k|_R(A)||₂ ≤ 2((σ₁ - σᵣ)/(σ₁ + σᵣ))^k ||r₀|_R(A)||₂，表明其收敛速率为 (σ₁ - σᵣ)/(σ₁ + σᵣ)，呈现线性收敛。
• 对于应用于欠定最小二乘问题的 CGNE 方法，误差界为 ||r_k^T (AA^T)^† r_k|| ≤ 2((σ₁ - σᵣ)/(σ₁ + σᵣ))^k ||r₀^T (AA^T)^† r₀||，表明其具有相同的收敛速率。
• 该分析证实，当初始化于适当的值域空间时，CGLS 与 CGNE 均收敛于最小范数解 A^†b，为它们在秩亏问题中的应用提供了矩阵理论依据。