[논문 리뷰] Residual, restarting and Richardson iteration for the matrix exponential, revised

Mike A. Botchev|arXiv (Cornell University)|2011. 12. 23.

Matrix Theory and Algorithms참고 문헌 38인용 수 3

한 줄 요약

이 논문은 행렬 지수를 초기값 문제(IVP)에 대한 미분방정식 시스템의 해로 해석함으로써, 행렬 지수 기반의 새로운 잔차 개념을 제안한다. 근사해가 미분방정식 시스템을 얼마나 위반하는지로 정의된 잔차를 통해, 크릴로프 부분공간 및 체비셰프 방법에 대한 신뢰할 수 있고 계산 가능한 멈춤 기준을 제공하며, 새로운 잔차 기반 반복 해법을 도출한다. 특히, Krylov-Richardson 방법의 재시작 버전을 통해 수렴 효율성을 향상시킨다.

ABSTRACT

A well-known problem in computing some matrix functions iteratively is the lack of a clear, commonly accepted residual notion. An important matrix function for which this is the case is the matrix exponential. Suppose the matrix exponential of a given matrix times a given vector has to be computed. We develop the approach of Druskin, Greenbaum and Knizhnerman (1998) and interpret the sought-after vector as the value of a vector function satisfying the linear system of ordinary differential equations (ODE) whose coefficients form the given matrix. The residual is then defined with respect to the initial-value problem for this ODE system. The residual introduced in this way can be seen as a backward error. We show how the residual can be computed efficiently within several iterative methods for the matrix exponential. This completely resolves the question of reliable stopping criteria for these methods. Further, we show that the residual concept can be used to construct new residual-based iterative methods. In particular, a variant of the Richardson method for the new residual appears to provide an efficient way to restart Krylov subspace methods for evaluating the matrix exponential.

연구 동기 및 목표

• 행렬 지수 계산에 있어 오랫동안 해결되지 않은 반복적 행렬 함수 계산에 대한 신뢰할 수 있는 잔차 개념의 부재 문제를 해결한다.
• 행렬 지수의 근사해에 대해 ODE 해석을 통해 계산 가능하고 의미 있는 역오차 측정치를 제공한다.
• 크릴로프 부분공간 및 다항식 반복 방법에서 행렬 지수 계산에 대해 강건하고 효율적인 멈춤 기준을 제공한다.
• 크릴로프 방법에 대한 재시작 버전을 포함한 새로운 잔차 기반 반복 알고리즘을 개발한다.
• 잔차 프레임워크를 행렬余弦 및 사인 함수와 같은 다른 행렬 함수로 일반화한다.

제안 방법

• 행렬 지수를 초기값 문제(IVP): y'(t) = -Ay(t), y(0) = v로 정의하며, 정확한 해는 y(t) = exp(-tA)v이다.
• 근사해 y_k(t)에 대해 잔차 r_k(t) = -A y_k(t) - y_k'(t)를 정의하여, 이는 미분방정식 시스템 위반 정도를 측정한다.
• 잔차 노름을 반복 방법의 멈춤 기준으로 사용하여, 역안정성과 신뢰할 수 있는 수렴 모니터링을 보장한다.
• 행렬 지수를 위한 잔차 기반 리처드슨 반복을 제안하며, 이는 크릴로프 부분공간 방법의 효율적 재시작에 활용될 수 있다.
• 크릴로프 부분공간 방법(예: 아르니올리/랭크조스) 및 체비셰프 다항식 방법에 잔차 개념을 적용하여 효율적인 잔차 계산을 보여준다.
• 두 번째 차수의 ODE를 식별하고 잔차를 이를 바탕으로 정의함으로써, 행렬余弦 및 사인 함수에 대해 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 반복 방법으로 행렬 지수를 푸는 데 있어, 신뢰할 수 있고 계산 가능한 잔차를 어떻게 정의할 수 있는가?
• RQ2 잔차 개념을 사용하여 행렬 지수를 위한 새로운 반복 해법을 구성할 수 있는가?
• RQ3 잔차 기반 멈춤 기준은 크릴로프 부분공간 방법의 강건성과 효율성을 어떻게 향상시키는가?
• RQ4 잔차 기반 리처드슨 방법은 크릴로프 방법의 효과적인 조건부 전처리 또는 재시작 전략으로 활용될 수 있는가?
• RQ5 잔차 프레임워크는 여전히 여유가 있는 다른 행렬 함수, 예를 들어 여유와 사인 함수로 얼마나 일반화할 수 있는가?

주요 결과

• 제안된 잔차는 미분방정식 시스템의 잔차로 정의되며, 이는 역오차로 작용하고 반복적 행렬 지수 해법에 대해 신뢰할 수 있는 멈춤 기준을 제공한다.
• 잔차는 크릴로프 부분공간 및 체비셰프 다항식 방법 내에서 효율적으로 계산될 수 있어 실시간 수렴 모니터링이 가능하다.
• 새로운 잔차 기반 리처드슨 반복이 제안되며, 이는 크릴로프 방법과 조합될 경우 효율적이고 효과적인 재시작을 가능하게 하여 외부 반복 횟수를 줄인다.
• 수치 실험 결과, SaI 전략을 사용한 크릴로프-리처드슨 방법은 표준 방법보다 수렴 속도가 더 빠르며, 특히 초기 벡터 v가 경계 조건을 만족할 경우 두드러지게 향상된다.
• 초기 벡터 v가 기초가 되는 PDE의 경계 조건과 호환될 경우, 3차원 확산 문제에서 수렴 속도가 크게 향상됨을 입증하였다.
• 행렬 여유 및 사인 함수에 대해, 해당하는 두 번째 차수 ODE를 식별하고 이를 바탕으로 잔차를 정의함으로써, 잔차 프레임워크를 다른 행렬 함수로도 확장 가능하다.