[논문 리뷰] Convergence of the Conjugate Gradient Method on Singular Systems

Ken Hayami|arXiv (Cornell University)|2018. 09. 04.

Matrix Theory and Algorithms참고 문헌 6인용 수 7

한 줄 요약

이 논문은 대칭 양정준 행렬의 특이 선형계에서 켈리-그레고리(CG) 방법의 엄밀한 수렴 분석을 제공하며, 행렬의 대각화를 통해 알고리즘을 범위 공간과 영공간 성분으로 분해한다. 시스템이 일致할 경우 CG가 해로 수렴함을 증명하고, 질량이 떨어진 최소 제곱 문제에 대한 CGLS 및 CGNE 방법으로 분석을 확장하여, 표준 초기화 조건 하에서 최소 노름 해로의 수렴을 보여준다.

ABSTRACT

We analyze the convergence of the Conjugate Gradient (CG) method in exact arithmetic, when the coefficient matrix $A$ is symmetric positive semidefinite and the system is consistent. To do so, we diagonalize $A$ and decompose the algorithm into the range and the null space components of $A$. Further, we apply the analysis to the CGLS and CGNE (CG Normal Error) methods for rank-deficient least squares problems.

연구 동기 및 목표

• 대칭 양정준 특이 선형계에 대해 정확산에서 켈리-그레고리(CG) 방법의 수렴 행동을 분석하는 것.
• 직교 대각화를 사용하여 행렬 A의 범위 공간과 영공간에 대응하는 성분으로 CG 알고리즘을 분해하는 것.
• 질량이 떨어진 최소 제곱 문제를 해결하기 위한 CGLS 및 CGNE 방법으로 수렴 분석을 확장하는 것.
• 이러한 방법들이 최소 노름 해로 수렴하는 조건을 설정하는 것.
• 행렬 A의 특이값을 기반으로 CGLS 및 CGNE 방법의 잔차 감소에 대한 오차 한계를 유도하는 것.

제안 방법

• 대칭 양정준 행렬 A를 직교 변환 Q를 사용해 대각화하여 Q^T A Q = diag(Λ_r, 0)로 표현하며, 여기서 Λ_r는 양의 고유값을 포함한다.
• 변환 ṽ = Q^T v를 통해 모든 벡터(x, r, p)를 R(A)와 N(A) 성분으로 분해하여 v¹ ∈ R(A) 및 v² ∈ N(A)를 도출한다.
• 분해된 공간에서의 CG 반복을 분석하여, R(A) 성분이 양정준 시스템에서 표준 CG와 동일하게 진화하고, N(A) 성분은 일정하게 유지됨을 보여준다.
• 최소 제곱 문제를 A^T A 또는 A A^T를 포함하는 정규 방정식으로 재구성함으로써 동일한 분해를 CGLS 및 CGNE 방법에 적용한다.
• 변환된 시스템에서의 CG 수렴 성질을 이용하여, 해의 R(A) 성분이 A^†b, 즉 최소 노름 해로 수렴함을 보여준다.
• CGLS 및 CGNE 방법의 잔차에 대한 오차 한계를 유도하며, 수렴 속도가 (σ₁ - σᵣ)/(σ₁ + σᵣ)임을 보여주며, 여기서 σ₁ 및 σᵣ는 A의 최대 및 최소 비영 특이값이다.

실험 결과

연구 질문

• RQ1 대칭 양정준 특이 선형계에 대해 켈리-그레고리(CG) 방법이 수렴하는 조건은 무엇인가?
• RQ2 CG 반복값이 A의 범위 공간과 영공간에 따라 어떻게 분해되며, 반복 과정에서 이 성분들은 어떻게 변화하는가?
• RQ3 A가 질량이 떨어지고 b ∈ R(A)일 때, CGLS 방법이 최소 노름 해로 수렴하는가?
• RQ4 초기화가 A^T의 범위에 있을 때, CGLS 방법이 과잉 결정된 최소 제곱 문제에 대해 최소 노름 해로 수렴하는가?
• RQ5 질량이 떨어진 시스템에 대해 CGLS 및 CGNE 방법의 잔차 수렴 속도는 무엇이며, A의 특이값을 기반으로 한계를 설정할 수 있는가?

주요 결과

• A가 대칭 양정준이고 b ∈ R(A)일 경우, A가 특이하더라도 CG 방법은 유한 반복 내에 Ax = b의 해로 수렴한다.
• 초기 추정치가 R(A^T)에 있을 경우, R(A) 성분의 해는 A^†b, 즉 최소 노름 해로 수렴한다.
• CG 반복 과정 전반에 걸쳐 해의 영공간 성분은 일정하게 유지되며, 초기 x₀² 성분과 동일하다.
• CGLS 방법의 경우, R(A) 내 잔차 노름은 ||r_k|_R(A)||₂ ≤ 2((σ₁ - σᵣ)/(σ₁ + σᵣ))^k ||r₀|_R(A)||₂를 만족하며, 이는 (σ₁ - σᵣ)/(σ₁ + σᵣ)의 수렴 속도를 갖는 선형 수렴을 나타낸다.
• 과잉 결정된 최소 제곱 문제에 대해 CGNE 방법를 적용할 경우, 오차 한계는 ||r_k^T (AA^T)^† r_k|| ≤ 2((σ₁ - σᵣ)/(σ₁ + σᵣ))^k ||r₀^T (AA^T)^† r₀||로 표현되며, 동일한 수렴 속도를 보인다.
• 분석을 통해 CGLS 및 CGNE가 적절한 범위 공간에 초기화된 경우 최소 노름 해 A^†b로 수렴함을 확인하였으며, 이는 질량이 떨어진 문제에 대한 이들의 사용에 대한 행렬 이론적 근거를 제공한다.