[논문 리뷰] Highly Efficient Computation of Generalized Inverse of a Matrix

Victor Y. Pan, Fazlollah Soleymani외 1명|arXiv (Cornell University)|2016. 04. 27.

Matrix Theory and Algorithms참고 문헌 31인용 수 5

한 줄 요약

이 논문은 매 반복마다 행렬의 외부 일반화 역행렬을 계산하기 위해 18차 수렴성을 가지며, 반복당 단지 일곱 번의 행렬 곱셈만을 사용하는 새로운 초거듭제곱 반복법을 제안한다. 이는 알려진 바 중에서 가장 높은 계산 효율 지수를 달성한다. 이 방법은 자가보정적이며, 한 번의 추가 행렬 곱셈으로 비용을 감수함으로써, 희소 행렬과 밀도 높은 행렬 모두에서 기존의 안정적인 반복 방법보다 빠르고 정확하게 작동한다.

ABSTRACT

We propose a hyperpower iteration for numerical computation of the outer generalized inverse of a matrix which achieves the 18th order of convergence by using only seven matrix multiplication per iteration loop. This is the record high efficiency for that computational task. The algorithm has a relatively mild numerical instability, and we stabilize it at the price of adding one extra matrix multiplication per iteration loop. This imlplies an efficiency index that significantly exceeds the known record for numerically stable iterations for this task. Our numerical tests cover a variety of examples such as Drazin case, rectangular case, and preconditioning of linear systems. The test results are in good accordance with our formal study and indicate that our algorithms can be of interest for the user.

연구 동기 및 목표

• 직사각형 행렬 또는 秩이 떨어진 경우에도 특히 효과적인 행렬의 외부 일반화 역행렬을 계산하기 위한 고효율 반복 알고리즘을 개발하는 것.
• 반복당 계산 비용을 최소화하면서도 효율 지수로 측정된 최고 수준의 수렴 차수를 달성하는 것.
• 특히 조건이 나쁜 행렬이나 대규모 행렬에서 실용적인 계산에서 수치적 안정성을 확보하는 것.
• 선형 시스템의 조절자 및 회귀 분석을 포함한 다양한 적용 분야에서의 성능 평가.
• 일반화된 역행렬 계산을 위한 기존의 안정적인 반복 방법보다 효율 기록을 초월하는 것.

제안 방법

• 알고리즘은 행렬 곱의 반복적 구조를 사용하여 18차 수렴을 달성하면서도 반복당 단지 일곱 번의 행렬 곱셈만을 요구하는 초거듭제곱 반복 프레임워크를 사용한다.
• 핵심 반복식은 $ X_{k+1} = X_k (I + \upsilon_k \zeta_k) $ 로 주어지며, 여기서 $ \psi_k = I - A X_k $, $ \zeta_k = I + \psi_k + \psi_k^2 $, $ \upsilon_k = \psi_k + \psi_k^4 $ 이다.
• 비특이 행렬에 대해서는 자가보정적이지만, 일반화된 역행렬에 대해서는 약간의 수치적 불안정성이 나타나며, 이를 보완하기 위해 반복당 한 번의 추가 행렬 곱셈을 추가함으로써 안정성을 향상시킬 수 있다.
• 초기 행렬 $ X_0 $ 는 행렬 $ A $ 의 대각선 역행렬로 선택되며, 즉 $ X_0 = \text{diag}(1/a_{11}, \dots, 1/a_{nn}) $ 로 설정되어 빠른 수렴을 보장한다.
• 희소 선형 시스템의 조절자 계산에 이 알고리즘을 적용하며, 임계값 설정(예: `Chop[X, 1e-5]`)을 통해 희소성 유지가 가능하다.
• 이 방법은 다양한 경우에 대해 테스트되었으며, Drazin 역행렬, 직사각형 행렬, 그리고 GMRES를 사용한 대규모 희소 시스템의 조절자 계산을 포함한다.

실험 결과

연구 질문

• RQ1 외부 일반화 역행렬을 위한 반복 방법이 반복당 일곱 번의 행렬 곱셈만으로 18차 수렴을 달성할 수 있는가?
• RQ2 일반화된 역행렬을 위한 고차수 반복 방법에서 수렴 속도와 수치적 안정성 사이의 상호 교환 관계는 어떠한가?
• RQ3 제안된 방법은 Newton-Schulz, Chebyshev-Sen-Prabhu, 및 FM 등의 기존 반복 방법과 비교해 계산 시간과 정확도 측면에서 어떻게 다른가?
• RQ4 이 방법은 대규모 희소 선형 시스템의 Krylov 부분공간 해법기인 GMRES에 효과적인 조절자로 사용될 수 있는가?
• RQ5 제안된 방법의 효율 지수는 일반화된 역행렬 계산을 위한 알려진 안정적인 반복 방법보다 뚜렷이 높은가?

주요 결과

• 제안된 방법은 반복당 일곱 번의 행렬 곱셈만으로 18차 수렴을 달성하며, 효율 지수 약 1.51121을 기록하여 이 분야에서 기록된 바 중 가장 높은 수준이다.
• 수치적 실험 결과, Drazin 역행렬, 직사각형 행렬, 대규모 희소 시스템의 조절자 계산을 포함한 모든 테스트 케이스에서 일관된 수렴이 관찰되었다.
• 희소 선형 시스템의 조절자 계산에 있어서, 특히 좁은 수렴 기준에서 기존의 ILU 기반 조절자보다 계산 시간 측면에서 뛰어나며, 일반적으로 한 번의 반복만으로도 충분한 성능을 발휘했다.
• 한 번의 추가 행렬 곱셈을 추가한 안정화된 버전은 여전히 18차 수렴을 유지하면서도 수치적 안정성을 크게 향상시켰다.
• 시간 비교 결과, SM, CM, 및 FM 등의 기존 방법보다 일관되게 더 빠르게 동작했으며, 100×90에서 1000×990에 이르는 모든 테스트 행렬 크기에서 성능 향상이 관찰되었다.
• 다양한 정밀도 수준에서 성능이 뛰어나며, GMRES에서 반복 횟수를 줄이는 데 특히 효과적이었다.