[論文レビュー] Convergence of the Conjugate Gradient Method on Singular Systems

Ken Hayami|arXiv (Cornell University)|Sep 4, 2018

Matrix Theory and Algorithms参考文献 6被引用数 7

ひとこと要約

本稿は、対称正定値半定値特異系に対する共役勾配（CG）法の厳密な収束解析を提供し、対角化を用いてアルゴリズムを範囲空間と核空間の成分に分解する。系が一貫している場合、CGが解に収束することを証明し、ランク不足の最小二乗問題に対するCGLSおよびCGNE法への解析を拡張し、標準的な初期化のもとで最小ノルム解に収束することを示す。

ABSTRACT

We analyze the convergence of the Conjugate Gradient (CG) method in exact arithmetic, when the coefficient matrix $A$ is symmetric positive semidefinite and the system is consistent. To do so, we diagonalize $A$ and decompose the algorithm into the range and the null space components of $A$. Further, we apply the analysis to the CGLS and CGNE (CG Normal Error) methods for rank-deficient least squares problems.

研究の動機と目的

• 対称正定値半定値特異系に適用した共役勾配（CG）法の正確算術における収束挙動を分析すること。
• 直交的対角化を用いて、行列Aの範囲空間と核空間に対応するCGアルゴリズムの成分に分解すること。
• ランク不足の最小二乗問題を解くCGLSおよびCGNE法への収束解析を拡張すること。
• これらの手法が最小ノルム解に収束する条件を確立すること。
• Aの特異値を用いて、CGLSおよびCGNE法における残差低減の誤差境界を導出すること。

提案手法

• 行列Aを直交変換Qを用いて対角化し、Q^T A Q = diag(Λ_r, 0)とする。ここでΛ_rは正の固有値を含む。
• 変換ṽ = Q^T vを用いて、すべてのベクトル（x, r, p）をR(A)およびN(A)の成分に分解し、v¹ ∈ R(A)およびv² ∈ N(A)を得る。
• 分解された空間におけるCG反復を分析し、R(A)成分が正定値系における標準的CGと同様に進化すること、N(A)成分が一定に保たれることを示す。
• 最小二乗問題をA^T AまたはA A^Tを含む正規方程式に再定式化することで、CGLSおよびCGNE法に対しても同様の分解を適用する。
• 変換された系におけるCGの収束性を用いて、解のR(A)成分がA^†b、すなわち最小ノルム解に収束することを示す。
• CGLSおよびCGNE法における残差の誤差境界を導出し、収束率が(σ₁ - σᵣ)/(σ₁ + σᵣ)であることを示す。ここでσ₁およびσᵣはAの最大および最小の非ゼロ特異値である。

実験結果

リサーチクエスチョン

• RQ1 対称正定値半定値特異系に適用した共役勾配法が、どのような条件下で収束するか。
• RQ2 CG反復は行列Aの範囲空間および核空間に沿ってどのように分解され、反復中にこれらの成分はどのように変化するか。
• RQ3 Aがランク不足でb ∈ R(A)である場合、CGLS法は最小ノルム解に収束するか。
• RQ4 Aがランク不足で、初期値がA^Tの範囲にある場合、CGNE法は不定の最小二乗問題に対して最小ノルム解に収束するか。
• RQ5 ランク不足系におけるCGLSおよびCGNE法の残差の収束速度は何か。また、Aの特異値を用いてその速度を評価できるか。

主な発見

• Aが対称正定値半定値でb ∈ R(A)である場合、CG法はAが特異であっても有限反復内でAx = bの解に収束する。
• 初期反復がR(A^T)にある限り、R(A)成分の解はA^†b、すなわち最小ノルム解に収束する。
• CG反復中、解の核空間成分は、初期値x₀²と等しく、一定に保たれる。
• CGLS法において、R(A)上の残差ノルムは||r_k|_R(A)||₂ ≤ 2((σ₁ - σᵣ)/(σ₁ + σᵣ))^k ||r₀|_R(A)||₂を満たし、収束率(σ₁ - σᵣ)/(σ₁ + σᵣ)の線形収束を示す。
• 不定の最小二乗問題にCGNE法を適用した場合、誤差境界は||r_k^T (AA^T)^† r_k|| ≤ 2((σ₁ - σᵣ)/(σ₁ + σᵣ))^k ||r₀^T (AA^T)^† r₀||であり、同じ収束率を示す。
• 解析により、CGLSおよびCGNEは適切な範囲空間に初期化された場合、最小ノルム解A^†bに収束することが確認され、ランク不足問題におけるこれらの手法の使用に行列論的根拠が与えられる。