[논문 리뷰] On Convergence of the Inexact Rayleigh Quotient Iteration without and with MINRES

Zhongxiao Jia|arXiv (Cornell University)|2009. 06. 12.

Matrix Theory and Algorithms참고 문헌 34인용 수 2

한 줄 요약

이 논문은 MINRES를 사용한 비정확 레일리 몫 반복법(Inexact Rayleigh Quotient Iteration, RQI)에 대해 새로운 수렴 결과를 확립하며, 내부 선형 시스템을 매우 낮은 정확도로 풀어도 삼차, 이차, 선형 수렴이 달성될 수 있음을 보여준다. 특히, 내부 정확도 기준 ξk ≤ ξ (고정되어 있으며 1에 가까운 값이 아님), ξk = 1 − O(‖rk‖), 및 ξk = 1 − O(‖rk‖²)일 때 각각 해당 수렴 속도를 확보할 수 있다. 주요 기여는 이전의 가정을 완화하고 더 효율적인 구현을 가능하게 하는, 균일한 양성 조건에 기반한 일반 수렴 이론을 제안한 것이다.

ABSTRACT

For the Hermitian inexact Rayleigh quotient iteration (RQI), we present general convergence results, independent of iterative solvers for inner linear systems. We prove that the method converges quadratically at least under a new condition, called the uniform positiveness condition. This condition can be much weaker than the commonly used one that at outer iteration k, requires the relative residual norm ξk (inner tolerance) of the inner linear system to be smaller than one considerably and may allow ξk ≥ 1. Our focus is on the inexact RQI with MINRES used for solving the linear systems. We derive some subtle and attractive properties of the residuals obtained by MINRES. Based on these properties and the new general convergence results, we establish a number of insightful convergence results. Let ‖rk ‖ be the residual norm of approximating eigenpair at outer iteration k. Fundamentally different from the existing results that cubic and quadratic convergence requires ξk = O(‖rk‖) and ξk ≤ ξ ≪ 1 with ξ fixed, respectively, our new results remarkably show that the inexact RQI with MINRES generally converges cubically, quadratically and linearly provided that ξk ≤ ξ with ξ fixed not near one, ξk = 1 − O(‖rk‖) and ξk = 1 − O(‖rk ‖ 2), respectively. Since we always have ξk ≤ 1 in MINRES for any inner iteration steps, the results mean that the inexact RQI with MINRES can achieve cubic, quadratic and linear convergence by solving the linear systems only with very low accuracy and very little accuracy, respectively. New theory can be used to design much more effective implementations of the method than ever before. The results also suggest that we implement the method with fixed small inner iteration steps. Numerical experiments confirm our results and demonstrate much higher effectiveness of the new implementations.

연구 동기 및 목표

• 내부 해법기법에 종속되지 않는 비정확 RQI에 대한 일반 수렴 이론을 개발하는 것.
• 표준 조건 ξk ≪ 1보다 더 약한 조건인 균일한 양성 조건을 수렴 보장에 사용할 수 있도록 식별하는 것.
• 비정확 RQI 맥락에서 MINRES의 잔차 행동을 분석하는 것.
• 실용적인 낮은 정확도의 내부 해법 조건 하에서 수렴 속도를 확립하는 것.
• 고정된 작은 내부 반복 단계를 사용하는 더 효과적인 RQI 구현 설계를 안내하는 것.

제안 방법

• 내부 해법기법에 독립적인 비정확 RQI의 일반 수렴 기준으로서 균일한 양성 조건을 도입하는 것.
• 수렴 분석에 유용한 미묘한 구조적 성질을 도출하기 위해 MINRES 잔차를 분석하는 것.
• 내부 정확도 기준 ξk와 외부 잔차 노름 ‖rk‖를 연결하여 수렴 속도를 확립하는 것.
• MINRES에서 ξk ≤ 1임을 이용하여, ξk가 1에 가까워도 높은 수렴 속도를 달성할 수 있음을 보이는 것.
• 삼차, 이차, 선형 수렴이 발생하는 조건을 각각 ξk ≤ ξ, ξk = 1 − O(‖rk‖), ξk = 1 − O(‖rk‖²)로 유도하는 것.
• 이론적 수렴 행동에 기반하여 실용적 구현을 위한 고정된 작은 내부 반복 전략을 제안하는 것.

실험 결과

연구 질문

• RQ1 ξk ≪ 1보다 더 약한 조건 하에서도 비정확 RQI의 수렴을 보장할 수 있는가?
• RQ2 MINRES 잔차의 어떤 특정 성질이 비정확 RQI에서 개선된 수렴 분석을 가능하게 하는가?
• RQ3 ξk에 어떤 조건이 성립할 경우 비정확 RQI가 MINRES를 사용할 때 삼차, 이차 또는 선형 수렴을 달성하는가?
• RQ4 내부 해법이 매우 낮은 정확도로 수행되더라도 높은 수렴 속도를 달성할 수 있는가?
• RQ5 이론적 결과는 더 효율적인 RQI 구현 설계에 어떻게 활용될 수 있는가?

주요 결과

• 비정확 RQI가 MINRES를 사용할 때 내부 정확도 기준 ξk ≤ ξ (1에 가까운 값이 아닌 고정된 ξ)를 만족하면 삼차 수렴을 달성한다.
• ξk = 1 − O(‖rk‖)일 경우 이차 수렴이 달성되며, 이는 내부 해법이 매우 정확도가 낮아도 된다는 것을 의미한다.
• ξk = 1 − O(‖rk‖²)일 경우 선형 수렴이 발생하여, 더 낮은 정확도의 내부 해법으로도 충분함을 시사한다.
• 균일한 양성 조건은 ξk ≪ 1이 필요 없어도 되는 일반적이고 더 약한 수렴 기준이다.
• 이론적 결과는 MINRES 잔차가 내부 반복 횟수에 관계없이 적절히 ξk가 유계일 경우 수렴 속도가 독립적임을 보여준다.
• 수치 실험은 이론적 결과를 확인하며, 고정된 작은 내부 반복 단계를 사용하는 구현에서 상당히 높은 효율성을 보여준다.