[논문 리뷰] LSRN: A Parallel Iterative Solver for Strongly Over- or Under-Determined Systems

Xiangrui Meng, Michael A. Saunders외 1명|arXiv (Cornell University)|2011. 09. 27.

Stochastic Gradient Optimization Techniques인용 수 13

한 줄 요약

LSRN은 크고 강하게 과다 또는 과소 결정된, 잠재적으로 질량 부족인 최소 제곱 문제를 위한 병렬 반복 해법기입니다. 랜덤 정규 투영을 사용한 전처리를 통해 LSQR 또는 체비셰프 반복 방법의 수렴 속도를 높이며, 공유 메모리 및 클러스터 시스템에서 예측 가능한 성능과 뛰어난 확장성을 달성하여, 큰 희소 및 조밀한 문제에서 LAPACK 및 MATLAB 해법기보다 뛰어난 성능을 발휘합니다.

ABSTRACT

We describe a parallel iterative least squares solver named exttt{LSRN} that is based on random normal projection. exttt{LSRN} computes the min-length solution to $\min_{x \in \mathbb{R}^n} \|A x - b\|_2$, where $A \in \mathbb{R}^{m imes n}$ with $m \gg n$ or $m \ll n$, and where $A$ may be rank-deficient. Tikhonov regularization may also be included. Since $A$ is only involved in matrix-matrix and matrix-vector multiplications, it can be a dense or sparse matrix or a linear operator, and exttt{LSRN} automatically speeds up when $A$ is sparse or a fast linear operator. The preconditioning phase consists of a random normal projection, which is embarrassingly parallel, and a singular value decomposition of size $\lceil γ\min(m,n) ceil imes \min(m,n)$, where $γ$ is moderately larger than 1, e.g., $γ= 2$. We prove that the preconditioned system is well-conditioned, with a strong concentration result on the extreme singular values, and hence that the number of iterations is fully predictable when we apply LSQR or the Chebyshev semi-iterative method. As we demonstrate, the Chebyshev method is particularly efficient for solving large problems on clusters with high communication cost. Numerical results demonstrate that on a shared-memory machine, exttt{LSRN} outperforms LAPACK's DGELSD on large dense problems, and MATLAB's backslash (SuiteSparseQR) on sparse problems. Further experiments demonstrate that exttt{LSRN} scales well on an Amazon Elastic Compute Cloud cluster.

연구 동기 및 목표

• 강하게 과다 또는 과소 결정되고 가능하면 질량 부족인 대규모 선형 최소 제곱 문제를 위한 확장 가능하고 병렬화된 반복 해법기를 개발하기.
• 랜덤 투영 기반 전처리를 통해 체계를 증명 가능하게 잘 조절함으로써 런타임 성능을 예측 가능하게 보장하기.
• 병렬 처리와 자동적인 희소성 인식을 활용하여, 조밀 행렬과 희소 행렬(복잡한 희소성 패턴 포함) 모두에서 높은 성능을 달성하기.
• 특히 과소 결정 및 희소 설정에서 LAPACK의 DGELSD와 MATLAB의 백슬래시와 같은 기존 해법기보다 뛰어난 성능을 발휘하기.
• 분산 클러스터에서 체비셰프 반복 방법을 반복 해법기로 사용하여 강력한 확장성과 통신 효율성을 입증하기.

제안 방법

• LSRN은 랜덤 정규 투영을 사용해 전처리 행렬을 구성하며, 이는 $ Ax \approx b $ 시스템에 적용되어 조건 수를 개선합니다.
• 전처리 단계는 $ \lceil \gamma \min(m,n) \rceil \times \min(m,n) $ 크기의 랜덤 투영을 수행하며, $ \gamma \approx 2 $ 이며, 이는 매우 간단한 병렬 계산을 가능하게 합니다.
• 투영된 행렬의 단순화된 특이값 분해(SVD)를 통해 전처리된 시스템의 극단적 특이값이 잘 농축되게 하여 수렴 속도를 빠르게 합니다.
• 반복 단계에서는 LSQR 또는 체비셰프 반복 방법(CS)을 사용하며, 후자는 통신 비용이 낮아 고통신 환경에서 더 선호됩니다.
• 이 방법은 Tikhonov 정규화를 자연스럽게 지원하며, 코드 수정 없이도 희소 행렬이나 빠른 선형 연산자에 자동으로 적응합니다.
• LSRN은 스레딩 또는 MPI를 통해 쉽게 배포되도록 설계되었으며, 통신과 로드 밸런싱 오버헤드가 최소화되어 있습니다.

실험 결과

연구 질문

• RQ1 랜덤화된 전처리 전략을 사용해 과다 및 과소 결정된 최소 제곱 문제 모두에 대해 증명 가능하게 잘 조절된 체계를 만들 수 있는가?
• RQ2 랜덤 정규 투영의 사용이 공유 메모리 및 분산 클러스터 환경에서 예측 가능하고 확장 가능한 성능을 제공하는가?
• RQ3 LSRN은 대규모 희소 또는 조밀한 시스템에서 기존의 직접 해법기인 LAPACK의 DGELSD와 MATLAB의 백슬래시를 능가할 수 있는가?
• RQ4 체비셰프 반복 방법이 고통신 클러스터 환경에서 LSQR보다 더 효율적인가?
• RQ5 Amazon EC2와 같은 이질적 클러스터에서 문제 크기와 코어 수가 비례적으로 증가할 때 LSRN의 성능은 어떻게 확장되는가?

주요 결과

• 큰 조밀 문제에서 LSRN은 LAPACK의 DGELSD를 능가하며, 특히 DGELSD가 상당히 느린 과소 결정 영역에서 두드러진 성능을 보입니다.
• 희소 문제에서는 LSRN이 MATLAB의 백슬래시(SuiteSparseQR)보다 훨씬 빠르게 작동합니다. 이는 백슬래시가 희소성 패턴에 민감하고 성능이 예측 불가능하기 때문입니다.
• Amazon EC2 클러스터에서 LSRN은 잘 확장됩니다: 문제 크기가 10배 증가하고 코어 수가 비례적으로 증가할 때 총 실행 시간은 오직 50% 증가에 그칩니다.
• 체비셰프 반복 방법은 통신 비용이 낮아 클러스터에서 LSQR보다 뛰어난 성능을 보입니다. 비록 반복 횟수는 더 많지만(106회 대비 84회), 이는 성능을 높입니다.
• LSRN은 질량 부족 문제에서도 일관되고 예측 가능한 최소 길이 해를 제공합니다. 다른 해법기는 실패하거나 최소 길이가 아닌 해를 생성할 수 있습니다.
• LSRN의 성능은 희소성 패턴에 대해 강인하며, 희소 또는 빠른 선형 연산자에서는 자동으로 가속화됩니다. 반면, 구조적 특성에 의존하는 해법기는 그렇지 않습니다.