[논문 리뷰] Implementing Randomized Matrix Algorithms in Parallel and Distributed Environments

Jiyan Yang, Xiangrui Meng외 1명|arXiv (Cornell University)|2015. 02. 10.

Stochastic Gradient Optimization Techniques참고 문헌 94인용 수 11

한 줄 요약

이 논문은 대규모 병렬 및 분산 환경에서 랜덤화 행렬 알고리즘—특히 ℓ₁ 및 ℓ₂ 회귀에 대해—통신을 최소화하는 프레임워크를 제안한다. 랜덤 프로젝션과 샘플링을 활용해 조건수를 개선하거나 하위표본 문제를 구성함으로써, 입력 스파arsity에 가까운 런타임을 달성하면서도 강력한 상대 오차 보장을 확보하여, I/O 및 네트워크 지연이 FLOPS를 초월하는 분산 환경에서의 통신 비용을 크게 감소시킨다.

ABSTRACT

In this era of large-scale data, distributed systems built on top of clusters of commodity hardware provide cheap and reliable storage and scalable processing of massive data. Here, we review recent work on developing and implementing randomized matrix algorithms in large-scale parallel and distributed environments. Randomized algorithms for matrix problems have received a great deal of attention in recent years, thus far typically either in theory or in machine learning applications or with implementations on a single machine. Our main focus is on the underlying theory and practical implementation of random projection and random sampling algorithms for very large very overdetermined (i.e., overconstrained) $\ell_1$ and $\ell_2$ regression problems. Randomization can be used in one of two related ways: either to construct sub-sampled problems that can be solved, exactly or approximately, with traditional numerical methods; or to construct preconditioned versions of the original full problem that are easier to solve with traditional iterative algorithms. Theoretical results demonstrate that in near input-sparsity time and with only a few passes through the data one can obtain very strong relative-error approximate solutions, with high probability. Empirical results highlight the importance of various trade-offs (e.g., between the time to construct an embedding and the conditioning quality of the embedding, between the relative importance of computation versus communication, etc.) and demonstrate that $\ell_1$ and $\ell_2$ regression problems can be solved to low, medium, or high precision in existing distributed systems on up to terabyte-sized data.

연구 동기 및 목표

• 터라바이트 크기의 데이터셋을 다루는 분산 환경에서 계산 비용을 초월하는 통신 비용이 지배적인 상황에서, 행렬 알고리즘—특히 회귀 및 낮은 질서 근사—의 확장성 문제를 해결하기 위해.
• 기존에 단일 머신의 RAM 환경에서 주로 적용되던 랜덤화 수치 선형대수(RandNLA) 기법을 대규모 병렬 및 분산 아키텍처로 확장하기 위해.
• 랜덤화 알고리즘이 효율적인 스케칭 및 조건수 개선을 통해 통신을 최소화하면서도 높은 정밀도의 해를 강력한 이론적 보장과 함께 달성할 수 있음을 입증하기 위해.
• 실제 분산 시스템에서 임bedding 구축 시간, 조건수 품질, 통신 대비 계산의 균형 간 상호 교환 관계를 평가하기 위해.

제안 방법

• 크기 큰 과잉정의 행렬의 저차원 스케치를 생성하기 위해 구조적 행렬(예: 코시, 가우시안)을 이용한 랜덤 프로젝션 또는 데이터 의존적 중요도 샘플링을 통한 랜덤 샘플링을 사용한다.
• 스케치를 사용해 하위문제를 정확히 풀거나 LSQR과 같은 반복 해법기의 조건수를 개선하기 위한 전처리 행렬을 구성함으로써, 분산 환경에서 수렴 속도를 향상시킨다.
• I/O 및 네트워크 오버헤드를 줄이기 위해 통신을 피하는 반복 방법—예를 들어 체비셰프 반복 방법 및 MapReduce에서의 다중 초기 추정값—을 적용한다.
• LSRN 및 Databricks와 같은 시스템을 사용해 대규모 데이터에서 PROJ CW, PROJ GAUSSIAN, SAMP APPR 등의 다양한 임bedding 전략을 구현하고 평가한다.
• 다양한 임bedding 차원과 데이터 규모에서 근사 품질을 평가하기 위해 목적 함수 값과 해 벡터 양쪽에 상대 오차 지표를 사용한다.
• 조건 수가 최대 5인 10⁷ × 1000 크기의 행렬을 대상으로 실증 평가를 수행하며, 다수의 시도에서 수렴 속도, 정확도 및 런타임을 측정한다.

실험 결과

연구 질문

• RQ1 단일 머신의 RAM 환경에서 설계된 랜덤화 행렬 알고리즘을 통신 비용이 높은 대규모 분산 시스템에 효과적으로 적용할 수 있는가?
• RQ2 다양한 랜덤 프로젝션 및 샘플링 전략은 분산 회귀 환경에서 임bedding 품질, 구축 시간, 통신 효율성 측면에서 어떻게 상호 비교되는가?
• RQ3 더 높은 계산 비용(예: 더 비싼 프로젝션)을 감수함으로써 조건수를 개선하고 분산 해법기에서 통신을 얼마나 줄일 수 있는가?
• RQ4 분산 ℓ₂ 및 ℓ₁ 회귀에서 해의 정밀도, 임bedding 차원, 런타임 간의 상호 교환 관계는 어떠한가?
• RQ5 MapReduce에서의 다중 초기 추정값 또는 체비셰프 반복과 같은 통신 회피 전략이 기존 반복 방법 대비 성능 향상에 상당한 기여를 할 수 있는가?

주요 결과

• 코시 또는 가우시안와 같은 구조적 랜덤 프로젝션을 통한 랜덤화 전처리는 큰 불안정한 조건수를 가진 행렬의 조건수를 감소시켜, 분산 환경에서 LSQR과 같은 반복 해법기의 수렴 속도를 가속화한다.
• MapReduce에서 MIE(Multiple Initial Estimator) 프레임워크에 다중 초기 추정값을 적용함으로써 초기 탐색 영역이 크게 향상되어 수렴에 필요한 반복 횟수가 감소한다.
• 조건 수가 5인 1e7 × 1000 크기의 행렬에 대해, 제안된 방법은 데이터를 몇 번만 순회함으로써 해 벡터의 상대 오차를 1% 이하, 목적 함수 오차를 0.5% 이하로 달성했다.
• MPI 기반 시스템에서 체비셰프 반복 방법은 LSQR보다 통신 효율성이 뛰어나, 통신 최소화 설계가 FLOPS 최적화를 초월할 수 있음을 입증했다.
• 큰 임bedding 차원(예: 코시 프로젝션의 경우 3e5)은 더 나은 조건수와 더 빠른 수렴을 가져오지만, 임bedding 구축 시간이 증가하는 비용을 수반한다.
• 터라바이트 크기의 데이터에 대한 실증 결과는, 입력 스파arsity에 근접한 시간과 낮은 수의 데이터 순회만으로도 ℓ₁ 및 ℓ₂ 회귀 문제를 낮은, 중간 또는 높은 정밀도로 강력한 이론적 보장과 함께 해결할 수 있음을 보여준다.