[논문 리뷰] Numerically Safe Gaussian Elimination with No Pivoting

Victor Y. Pan, Liang Zhao|arXiv (Cornell University)|2015. 01. 22.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 3

한 줄 요약

이 논문은 무작위 및 구조적 전처리를 통한 피벗 없음 가우시안 소거법(GENP)의 형식적 이론적 근거를 제시한다. 이는 GENP가 무작위 행렬 또는 특정 구조적 다중행렬로 전처리된 후에는 항상 안전하고 높은 확률로 수치적으로 안전하다는 것을 증명하며, 오랫동안 관찰된 경험적 관찰을 해소하고 밀도 있는 행렬을 위한 더 빠르고 통신을 최소화하는 선형 시스템 해법기를 가능하게 한다.

ABSTRACT

Gaussian elimination with no pivoting and block Gaussian elimination are attractive alternatives to the customary but communication intensive Gaussian elimination with partial pivoting (hereafter we use the acronyms GENP, BGE, and GEPP} provided that the computations proceed safely and numerically safely}, that is, run into neither division by 0 nor numerical problems. Empirically, safety and numerical safety of GENP have been consistently observed in a number of papers where an input matrix was pre-processed with various structured multipliers chosen ad hoc. Our present paper provides missing formal support for this empirical observation and explains why it was elusive so far. Namely we prove that GENP is numerically unsafe for a specific class of input matrices in spite of its pre-processing with some well-known and well-tested structured multipliers, but we also prove that GENP and BGE are safe and numerically safe for the average input matrix pre-processed with any nonsingular and well-conditioned multiplier. This should embolden search for sparse and structured multipliers, and we list and test some new classes of them. We also seek randomized pre-processing that universally (that is, for all input matrices) supports (i) safe GENP and BGE with probability 1 and/or (ii) numerically safe GENP and BGE with a probability close to 1.We achieve goal (i) with a Gaussian structured multiplier and goal (ii) with a Gaussian unstructured multiplier and alternatively with Gaussian structured augmentation. We consistently confirm all these formal results with our tests of GENP for benchmark inputs. We have extended our approach to other fundamental matrix computations and keep working on further extensions.

연구 동기 및 목표

• 피벗 없음 가우시안 소거법(GENP)이 전처리된 행렬에 적용되었을 때 경험적으로 성공한 데 대한 형식적 이론적 근거를 제공하는 것.
• 구조적 전처리 하에서 GENP의 수치적 안전성에 대한 경험적 관찰과 이론적 이해 사이의 오랫동안 지속된 격차를 해소하는 것.
• GENP의 안전성과 수치적 안전성을 보장하는 새로운 종류의 희박하고 구조적인 다중행렬을 개발하고 테스트하는 것.
• 모든 비특이적이고 잘 조건화된 입력 행렬에 적용 가능한 무작위 가우시안 다중행렬을 사용하여 GENP의 보편적 안전성과 높은 확률의 수치적 안전성을 확립하는 것.
• 기본 행렬 계산, 예를 들어 낮은 랭크 근사와 특이부공간 계산으로 이 접근법을 확장하는 것.

제안 방법

• 모든 비특이적이고 잘 조건화된 다중행렬을 사용하여 전처리된 평균 입력 행렬에 대해 GENP가 안전하고 수치적으로 안전하다는 것을 증명한다. 이는 가우시안 확률 분포 하에서 성립한다.
• 가우시안 랜덤 행렬로 전처리하면 모든 비특이적 입력 행렬에 대해 보편적 안전성(확률 1)과 높은 확률의 수치적 안전성을 보장한다는 것을 입증한다.
• 수치적 안전성을 유지하는 새로운 종류의 희박하고 구조적인 다중행렬(예: 가우시안 부분순환, SRFT 보완)을 도입하고 테스트한다.
• 가우시안 부분순환 행렬 U와 V를 사용한 덧셈 편향 전처리(C = A - UV^T)를 통해 GENP를 안정화시킨다.
• 전처리 후 해를 효율적으로 계산하기 위해 Sherman-Morrison-Woerdeman(SMW) 공식을 사용한다.
• BDHT13에서 제공한 벤치마크 행렬과 표준 선형대수 테스트 케이스를 대상으로 광범위한 수치적 테스트를 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 피벗 없음 가우시안 소거법(GENP)이 전처리된 행렬에 적용되었을 때, 형식적 증명이 없음에도 불구하고 경험적으로 수치적으로 안전한 이유는 무엇인가?
• RQ2 구조적 전처리 하에서 GENP가 넓은 범위의 입력 행렬에 대해 수치적으로 안전하다는 것을 공식적으로 증명할 수 있는가?
• RQ3 무작위 가우시안 행렬로 전처리하면 모든 비특이적 입력 행렬에 대해 보편적 안전성과 높은 확률의 수치적 안전성을 보장할 수 있는가?
• RQ4 계산 비용과 통신 비용을 줄이면서도 수치적 안전성을 유지할 수 있는 희박하고 구조적인 다중행렬의 어떤 종류를 사용할 수 있는가?
• RQ5 예를 들어 부분순환 구조를 가진 무작위 행렬을 사용한 덧셈 전처리는 피벗 없이도 높은 수치 정확도를 달성할 수 있는가?

주요 결과

• 모든 비특이적 입력 행렬에 대해 가우시안 랜덤 행렬로 전처리할 경우, GENP는 좌측 및 우측 다중행렬 모두에서 보편적 안전성(확률 1)을 보장한다.
• 가우시안 비구조적 다중행렬 또는 가우시안-구조적 보완으로 전처리된 경우, GENP는 확률이 임의로 1에 가까워지는 조건에서 수치적으로 안전하다.
• 평균 입력 행렬에 대해, 가우시안 분포 하에서 모든 비특이적이고 잘 조건화된 다중행렬로 전처리된 경우 GENP는 안전하고 수치적으로 안전하다.
• 수치적 테스트 결과, 전처리된 GENP는 n=128~1024 범위에서 상대 잔차 노름이 1e-10 이하로 도달하며, 정밀화 단계를 거치면 오차가 1e-14 수준으로 감소함을 확인했다.
• 가우시안 부분순환 행렬(U, V)을 사용한 덧셈 전처리는 n=128일 때 평균 상대 잔차 노름이 1.47e-10, n=1024일 때는 9.87e-14이며, 한 번의 정밀화 반복을 거쳤을 때 성능을 보였다.
• 이 방법은 [KS91]에서 제시한 양방향 전처리 기법의 4배 가속을 가능하게 하여 실용적인 성능 향상을 입증했다.