[논문 리뷰] Randomized methods for rank-deficient linear systems

Josef Sifuentes, Zydrunas Gimbutas외 1명|arXiv (Cornell University)|2014. 01. 14.

Matrix Theory and Algorithms참고 문헌 8인용 수 11

한 줄 요약

이 논문은 일관된 랭크-결함이 있는 선형 연립방정식을 해결하기 위해 랜덤한 랭크-k 편향을 행렬에 추가함으로써, 확률적으로 비특이 시스템으로 변환하는 랜덤 알고리즘을 제시한다. 이 방법은 SVD나 조밀한 분해에 비해 비용이 많이 들지 않으며, GMRES나 공액상승법과 같은 반복적 해법을 통해 효율적인 해를 도출할 수 있고, 악조건의 영공간 문제에서도 높은 정확도를 달성한다.

ABSTRACT

We present a simple, accurate method for solving consistent, rank-deficient linear systems, with or without addi- tional rank-completing constraints. Such problems arise in a variety of applications, such as the computation of the eigenvectors of a matrix corresponding to a known eigenvalue. The method is based on elementary linear algebra combined with the ob- servation that if the matrix is rank-k deficient, then a random rank-k perturbation yields a nonsingular matrix with probability 1.

연구 동기 및 목표

• 기존의 직접적 방법이 계산적으로 비용이 많이 들기 때문에, 일관된 랭크-결함이 있는 선형 연립방정식을 해결하는 데 어려움을 해결하기 위해.
• QR이나 SVD와 같은 전통적인 영공간 계산 방법에 비해 수치적으로 안정적이고 효율적인 대안을 개발하기 위해.
• 랜덤한 편향을 통해 시스템을 잘 조건화함으로써, 랭크-결함이 있는 시스템에 대해 케일러-서브스페이스 반복적 해법을 사용할 수 있도록 하기 위해.
• 동차 시스템(Ax = 0)과 비동차 시스템(Ax = b)에 추가 제약 조건이 있는 경우에도 적용 가능한 프레임워크를 제공하기 위해.
• 잠재이론 및 전자기파 산산이 발생하는 유한 랭크 결함이 흔히 나타나는 적분방정식과 경계값 문제에까지 이 방법을 확장하기 위해.

제안 방법

• 랜덤 행렬 $P, Q \in \mathbb{C}^{n \times k}$ 를 사용하여 랭크-결함이 있는 행렬 $A$ 에 랜덤한 랭크-k 편향 $A + PQ^*$ 를 도입한다.
• 연속 분포에서 추출된 $P$ 와 $Q$ 가 사용될 경우, $A + PQ^*$ 는 확률적으로 비특이 행렬이 된다는 사실을 활용한다.
• GMRES나 공액상승법과 같은 반복적 켈러-서브스페이스 방법을 사용하여 편향된 시스템 $(A + PQ^*)y = b$ 를 해결한다.
• 정확한 산술 연산 하에서 $A(x - y) = 0$ 이므로, $x - y$ 를 $A$ 의 영벡터에 대한 근사로 사용한다.
• 오차 전파를 줄이고 조건수를 개선하기 위해 정규화된 버전의 알고리즘을 사용하여 안정화한다.
• 추가적인 랭크-k 제약 조건 $C^*x = f$ 를 확장된 시스템에 통합하여 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 랜덤한 랭크-k 편향이 신뢰성 있게 랭크-결함이 있는 선형 연립방정식을 잘 조건화된 비특이 시스템으로 변환할 수 있는가?
• RQ2 편향된 시스템에서 반복적 해법을 사용할 경우, 결과적으로 얻어진 영공간 근사의 정확도는 어느 정도인가?
• RQ3 편향이 켈러-서브스페이스 방법의 조건수와 수렴 행동에 어떤 영향을 미치는가?
• RQ4 이 방법은 정확도를 유지하면서도 추가 제약 조건이 있는 비동차 시스템으로 확장할 수 있는가?
• RQ5 QR, SVD, 또는 역반복법 같은 기존 방법과 비교했을 때, 이 방법은 효율성과 정확도 면에서 어떤가?

주요 결과

• 랜덤 편향 $A + PQ^*$ 는 확률적으로 비특이 행렬을 생성하므로 표준 반복적 해법을 사용할 수 있다.
• 영공간 근사의 오차는 $\delta \left(1 + \frac{\|P\|}{\sigma_{\min}(P_{N^*})}\right)$ 로 유계이며, 여기서 $\delta$ 는 잔차 허용 오차이다.
• 수치 실험 결과, 잘 조건화된 문제에서는 상대 오차가 $10^{-14}$ 에서 $10^{-15}$ 수준으로 나타났다.
• 안정화된 알고리즘 버전은 더 큰 편향에 대해서도 높은 정확도를 유지하며, 시험된 사례에서는 오차가 $10^{-14}$ 이하였다.
• 행렬 $A$ 가 희소이거나 빠른 행렬-벡터 곱셈을 허용하는 경우, 이 방법은 조밀한 분해를 피하기 때문에 특히 효과적이다.
• 유한 랭크 결함이 자연스럽게 나타나는 잠재이론의 적분방정식에도 이 방법을 적용할 수 있으며, 강력한 정규화 전략을 제공한다.