[논문 리뷰] Randomized Circulant and f-circulant Preprocessing

Victor Y. Pan, Liang Zhao|arXiv (Cornell University)|2015. 01. 22.

Stochastic Gradient Optimization Techniques인용 수 1

한 줄 요약

이 논문은 평균 입력 행렬에 비특이적이고 잘 조건화된 구조적 승수(특히 순환행렬 및 f-순환행렬)로 사전 처리된 후 가우시안 소거법 무피벗(정규화 없음, GENP)과 블록 가우시안 소거법(BGE)의 안전성과 수치적 안전성을 공식적으로 입증한다. 랜덤화된 사전 처리를 통해 가우시안 분포를 가진 구조적 또는 비구조적 승수를 사용할 경우, 각각 확률 1 또는 그에 가까운 확률로 안전하고 수치적으로 안전한 실행이 보장되며, 이는 오랫동안 관찰된 경험적 관찰을 이론적으로 해명한다.

ABSTRACT

Gaussian elimination with no pivoting and block Gaussian elimination are attractive alternatives to the customary but communication intensive Gaussian elimination with partial pivoting (hereafter we use the acronyms GENP, BGE, and GEPP} provided that the computations proceed safely and numerically safely}, that is, run into neither division by 0 nor numerical problems. Empirically, safety and numerical safety of GENP have been consistently observed in a number of papers where an input matrix was pre-processed with various structured multipliers chosen ad hoc. Our present paper provides missing formal support for this empirical observation and explains why it was elusive so far. Namely we prove that GENP is numerically unsafe for a specific class of input matrices in spite of its pre-processing with some well-known and well-tested structured multipliers, but we also prove that GENP and BGE are safe and numerically safe for the average input matrix pre-processed with any nonsingular and well-conditioned multiplier. This should embolden search for sparse and structured multipliers, and we list and test some new classes of them. We also seek randomized pre-processing that universally (that is, for all input matrices) supports (i) safe GENP and BGE with probability 1 and/or (ii) numerically safe GENP and BGE with a probability close to 1.We achieve goal (i) with a Gaussian structured multiplier and goal (ii) with a Gaussian unstructured multiplier and alternatively with Gaussian structured augmentation. We consistently confirm all these formal results with our tests of GENP for benchmark inputs. We have extended our approach to other fundamental matrix computations and keep working on further extensions.

연구 동기 및 목표

• 구조적 행렬 사전 처리가 피벗 없이도 안전하고 수치적으로 안정적인 GENP 및 BGE를 가능하게 하는 경험적 성공을 이론적으로 정당화하는 것.
• 일관된 경험적 성공에도 불구하고 이와 같은 사전 처리에 대한 이론적 지원이 오랫동안 부재였던 이유를 규명하는 것.
• GENP 및 BGE에서 안전성과 수치적 안전성을 항상 보장하는 랜덤화, 희박성, 구조적 승수를 개발하는 것.
• 가우시안 소거법을 초월한 다른 기본 행렬 계산으로 이 프레임워크를 확장하는 것.
• 기본 행렬 집합에서의 이론적 주장에 대한 종합적 테스트를 통한 검증.

제안 방법

• 순환행렬 및 f-순환행렬로의 사전 처리 하에서 GENP 및 BGE의 행동을 이론적으로 분석하여 평균 입력 행렬에 대한 안전성을 입증.
• 특정 입력 행렬에 대해서는 잘 알려진 구조적 승수로 사전 처리한 후에도 GENP가 수치적으로 불안전하다는 증명.
• 확률 1로 안전한 GENP 및 BGE를 달성하기 위해 가우시안-구조적 승수를 도입.
• 가우시안 비구조적 승수와 가우시안-구조적 보강을 사용하여 확률이 매우 높은 수준에서 수치적으로 안전한 GENP 및 BGE를 달성.
• 계산 비용을 줄이면서도 안전성을 유지하는 새로운 종류의 희박하고 구조적인 승수의 설계 및 테스트.
• 가우시안 소거법을 초월한 다른 행렬 계산으로 접근을 확장하며, 현재 진행 중인 연구.

실험 결과

연구 질문

• RQ1 왜 구조적 사전 처리가 피벗 없이도 안전한 GENP 및 BGE를 가능하게 하는 경험적 성공이 오랫동안 이론적으로 설명되지 않았는가?
• RQ2 구조적 승수로 사전 처리된 경우 GENP 및 BGE가 안전하고 수치적으로 안전하다는 것을 공식적으로 증명할 수 있는가?
• RQ3 가우시안 분포를 가진 구조적 또는 비구조적 승수를 사용한 랜덤화 사전 처리가 항상 안전성 또는 높은 확률의 수치적 안전성을 보장하는가?
• RQ4 특히 순환행렬 및 f-순환행렬을 포함한 어떤 종류의 구조적 승수들이 통신 및 계산 비용을 줄이면서도 안전성을 유지하는 데 사용될 수 있는가?
• RQ5 이 프레임워크는 가우시안 소거법을 초월한 다른 기본 행렬 계산으로 일반화될 수 있는가?

주요 결과

• 특정 입력 행렬에 대해서는 잘 알려진 구조적 승수(예: 순환행렬)로 사전 처리한 후에도 GENP 및 BGE가 수치적으로 불안전하다.
• 어떠한 비특이적이고 잘 조건화된 승수로 사전 처리한 경우, 평균 입력 행렬에 대해 GENP 및 BGE는 안전하고 수치적으로 안전하다.
• 가우시안-구조적 승수를 사용하면 확률 1로 안전한 GENP 및 BGE를 달성할 수 있다.
• 가우시안 비구조적 승수와 가우시안-구조적 보강을 조합하여 확률이 임의로 1에 가까운 수준에서 수치적으로 안전한 GENP 및 BGE를 달성할 수 있다.
• 이론적 보장 사항은 기본 행렬 집합에서의 테스트를 통해 일관되게 확인되었다.
• 프레임워크는 계속 진행 중인 연구를 통해 다른 기본 행렬 계산으로도 확장 가능하다.