[논문 리뷰] SPIN: A Fast and Scalable Matrix Inversion Method in Apache Spark

Chandan Misra, Sourangshu Bhattacharya외 1명|arXiv (Cornell University)|2018. 01. 15.

Parallel Computing and Optimization Techniques인용 수 4

한 줄 요약

이 논문은 스트라센 알고리즘을 기반으로 하여 재귀 단계당 행렬 곱셈 횟수를 LU 기반 방법의 12회에서 6회로 줄이는, Apache Spark 기반의 빠르고 확장 가능한 행렬 역행렬 계산 방법인 SPIN을 제안한다. 실험 결과, 모든 행렬 크기와 블록 크기에서 최신 LU 분해 방법보다 SPIN이 뛰어난 성능을 보이며, 이론적 분석과 실험 결과 간의 높은 일치도 및 거의 이상적인 확장성 확보를 확인하였다.

ABSTRACT

The growth of big data in domains such as Earth Sciences, Social Networks, Physical Sciences, etc. has lead to an immense need for efficient and scalable linear algebra operations, e.g. Matrix inversion. Existing methods for efficient and distributed matrix inversion using big data platforms rely on LU decomposition based block-recursive algorithms. However, these algorithms are complex and require a lot of side calculations, e.g. matrix multiplication, at various levels of recursion. In this paper, we propose a different scheme based on Strassen's matrix inversion algorithm (mentioned in Strassen's original paper in 1969), which uses far fewer operations at each level of recursion. We implement the proposed algorithm, and through extensive experimentation, show that it is more efficient than the state of the art methods. Furthermore, we provide a detailed theoretical analysis of the proposed algorithm, and derive theoretical running times which match closely with the empirically observed wall clock running times, thus explaining the U-shaped behaviour w.r.t. block-sizes.

연구 동기 및 목표

• 지구 과학 및 사회망과 같은 분야에서 대용량 데이터 워크로드에 대한 효율적이고 확장 가능한 행렬 역행렬 계산의 증가하는 필요에 부응하기 위해.
• Spark에서 기존의 LU 분해 기반 분산 행렬 역행렬 계산 방법의 높은 계산 비용과 복잡성을 해결하기 위해.
• 재귀 연산을 줄이는 데 초점을 맞춘 스트라센 원형 알고리즘 기반의 새로운 행렬 역행렬 계산 방법을 구현하고 평가하기 위해.
• 행렬 크기와 블록 크기의 함수로 벽시계 시간을 추정하는 이론적 비용 모델을 제공하여, 블록 크기와의 관계에서 U자형 성능 곡선을 설명하기 위해.
• 최신 LU 기반 접근법과 비교해 제안된 방법의 뛰어난 성능과 확장성을 입증하기 위해.

제안 방법

• 이 방법은 스트라센의 행렬 역행렬 알고리즘을 활용하며, LU 분해와 달리 재귀 단계당 단지 6회의 행렬 곱셈만을 사용한다.
• 이 알고리즘은 내결함성 있는 분산 처리를 가능하게 하는 강력한 분산 데이터 세트(RDD)를 사용하여 Apache Spark에 구현되었다.
• 재귀의 잎 노드 수준에서 추가적인 행렬 곱셈을 피함으로써 계산 오버헤드를 감소시켰다.
• 스트라센 알고리즘의 재귀 관계를 기반으로 한 이론적 비용 모델을 유도하여, 행렬 크기와 블록 크기의 함수로 벽시계 시간을 추정하였다.
• 재귀를 관리하기 위해 Spark 작업의 파이프라인을 사용하였으며, 행렬 분할, 곱셈, 조합 단계를 최적화하여 처리하였다.
• 실행 시간 구성 요소(예: 잎 노드 역행렬, 행렬 곱셈, 뺄셈)를 분석하여 성능 저하 요인을 정확히 파악하였다.

실험 결과

연구 질문

• RQ1 스프링 환경에 적응된 스트라센의 행렬 역행렬 알고리즘이, 벽시계 시간과 확장성 측면에서 기존의 LU 분해 기반 방법보다 뛰어나게 성능을 발휘하는가?
• RQ2 제안된 방법의 벽시계 시간이 블록 크기와의 관계에서 U자형 곡선을 띄는 이유는 무엇이며, 이는 이론적으로 설명될 수 있는가?
• RQ3 SPIN의 이론적 비용 모델이 다양한 행렬 크기와 블록 크기에서 실제로 관측된 실행 시간과 얼마나 일치하는가?
• RQ4 SPIN은 이상적 확장성과 기존 방법 대비 증가하는 실행자 수와 행렬 크기에서 어떻게 확장되는가?
• RQ5 스트라센 방법에서 줄어든 행렬 곱셈 횟수는 분산 행렬 역행렬에서 측정 가능한 성능 향상으로 이어지는가?

주요 결과

• SPIN은 테스트된 모든 행렬 크기(4096×4096, 8192×8192, 16384×16384)와 블록 크기에서 LU 분해 기반 방법보다 뛰어난 성능을 보였으며, 행렬 크기가 커질수록 성능 격차가 더욱 커졌다.
• SPIN의 이론적 벽시계 시간 모델은 실험적 측정치와 매우 유사하여, 비용 분석의 정확성을 검증하였으며, 블록 크기와의 관계에서 U자형 성능 곡선을 설명하였다.
• 4096×4096 행렬의 경우, SPIN은 LU 기반 기준선 대비 최대 47%의 실행 시간을 단축시켰으며, 블록 크기가 작을 때(예: b=2)는 잎 노드 비용이 지배적이었고, 블록 크기가 클수록(예: b=16) 행렬 곱셈 비용이 지배적이었다.
• SPIN은 거의 이상적인 확장성을 보였으며, 실행자 수를 늘릴 때 모든 행렬 크기에서 이상적 확장성과의 편차가 미미하였다.
• SPIN은 LU 기반 방법의 재귀 단계당 12회의 곱셈을 6회로 줄여 계산 오버헤드를 낮추고 실행 속도를 향상시켰다.
• 분석 결과, 실행 시간의 U자형 곡선은 블록 크기가 증가함에 따라 감소하는 잎 노드 역행렬 비용과 깊어지는 재귀로 인해 증가하는 행렬 곱셈 비용 사이의 상충 관계에서 기인한다.