[論文レビュー] On Convergence of the Inexact Rayleigh Quotient Iteration without and with MINRES

Zhongxiao Jia|arXiv (Cornell University)|Jun 12, 2009

Matrix Theory and Algorithms参考文献 34被引用数 2

ひとこと要約

本稿は、MINRESを用いた不正確なレイleigh商反復（RQI）に対する新たな収束結果を確立し、内側の線形システムが非常に低い精度で解かれても、立方収束、2次収束、線形収束が達成可能であることを示している。具体的には、内側の許容誤差 ξk ≤ ξ（固定で1に近くない）、ξk = 1 − O(‖rk‖)、および ξk = 1 − O(‖rk‖²）のそれぞれに対して、それらが成立する。主な貢献は、従来の仮定を弱めるuniform positiveness条件に基づく一般化された収束理論であり、より効率的な実装を可能にする。

ABSTRACT

For the Hermitian inexact Rayleigh quotient iteration (RQI), we present general convergence results, independent of iterative solvers for inner linear systems. We prove that the method converges quadratically at least under a new condition, called the uniform positiveness condition. This condition can be much weaker than the commonly used one that at outer iteration k, requires the relative residual norm ξk (inner tolerance) of the inner linear system to be smaller than one considerably and may allow ξk ≥ 1. Our focus is on the inexact RQI with MINRES used for solving the linear systems. We derive some subtle and attractive properties of the residuals obtained by MINRES. Based on these properties and the new general convergence results, we establish a number of insightful convergence results. Let ‖rk ‖ be the residual norm of approximating eigenpair at outer iteration k. Fundamentally different from the existing results that cubic and quadratic convergence requires ξk = O(‖rk‖) and ξk ≤ ξ ≪ 1 with ξ fixed, respectively, our new results remarkably show that the inexact RQI with MINRES generally converges cubically, quadratically and linearly provided that ξk ≤ ξ with ξ fixed not near one, ξk = 1 − O(‖rk‖) and ξk = 1 − O(‖rk ‖ 2), respectively. Since we always have ξk ≤ 1 in MINRES for any inner iteration steps, the results mean that the inexact RQI with MINRES can achieve cubic, quadratic and linear convergence by solving the linear systems only with very low accuracy and very little accuracy, respectively. New theory can be used to design much more effective implementations of the method than ever before. The results also suggest that we implement the method with fixed small inner iteration steps. Numerical experiments confirm our results and demonstrate much higher effectiveness of the new implementations.

研究の動機と目的

• 内側ソルバーに依存しない不正確なRQIの一般化された収束理論の構築。
• 標準的な ξk ≪ 1 よりも弱い条件「uniform positiveness」を、収束を保証するための条件として同定すること。
• 不正確なRQIの文脈におけるMINRESの残差の挙動の分析。
• 実用的で低精度の内側解法のもとでの収束速度の確立。
• 固定で小さな内側反復ステップを用いたより効果的なRQI実装の設計を支援すること。

提案手法

• 内側ソルバーに依存しない不正確なRQIの一般収束基準として、uniform positiveness条件を導入する。
• MINRESの残差を分析し、収束解析に有用な微細な構造的性質を導出する。
• 内側許容誤差 ξk を外側の残差ノルム ‖rk‖ と結びつけることで収束速度を確立する。
• MINRESにおいて ξk ≤ 1 であることに着目し、ξk が1に近い場合でも高い収束速度が達成可能であることを示す。
• 立方収束、2次収束、線形収束がそれぞれ成立する条件を導出する：ξk ≤ ξ、ξk = 1 − O(‖rk‖)、および ξk = 1 − O(‖rk‖²）。
• 理論的収束挙動に基づき、実装に適した固定で小さな内側反復戦略を提案する。

実験結果

リサーチクエスチョン

• RQ1 ξk ≪ 1 よりも弱い条件下でも、不正確なRQIの収束を保証できるか？
• RQ2 MINRESの残差にどのような特定の性質があるため、不正確なRQIにおける収束解析が改善されるのか？
• RQ3 ξk にどのような条件が満たされると、不正確なRQI（MINRESを用いて）立方収束、2次収束、線形収束を達成できるか？
• RQ4 内側解法が非常に低い精度で実行されても、高い収束速度を達成できるか？
• RQ5 理論的知見をどのように活用して、より効率的なRQI実装を設計できるか？

主な発見

• 不正確なRQIがMINRESを用いて立方収束を達成するのは、内側許容誤差が ξk ≤ ξ（固定で1に近くない）を満たす場合である。
• 2次収束は ξk = 1 − O(‖rk‖) のとき達成され、内側解法が非常に不正確であっても可能である。
• 線形収束は ξk = 1 − O(‖rk‖²) のとき発生し、これによりさらに不正確な内側解法でも十分であることが示された。
• uniform positiveness 条件は、ξk ≪ 1 を要件としない一般化された弱い収束基準である。
• 理論的結果により、ξk が適切に有界であれば、MINRESの残差が内側反復回数に依存しない収束速度を実現可能であることが示された。
• 数値実験により理論的予測が確認され、固定で小さな内側反復ステップを用いた実装が著しく高い効率性を示した。