[논문 리뷰] Semi-External Memory Sparse Matrix Multiplication on Billion-node Graphs in a Multicore Architecture.

Da Zheng, Disa Mhembere외 4명|arXiv (Cornell University)|2016. 02. 09.

Graph Theory and Algorithms참고 문헌 32인용 수 4

한 줄 요약

이 논문은 주로 메모리에 밀접하게 유지되는 밀도 높은 행렬을 유지하면서도 희소 행렬을 SSD에 저장하는 반외부 메모리(Semi-External Memory, SEM) 희소 행렬 곱셈(SpMM) 프레임워크를 제안한다. 이를 통해 빌리언 노드 그래프 분석을 효율적으로 수행할 수 있다. 입출력(I/O) 최적화 기법과 메모리 내 알고리즘 기법을 결합함으로써, 밀도 높은 행렬의 열 수가 네 개를 초과할 경우 빌리언 노드 그래프에서 메모리 내 성능의 최대 100%를 달성하며, Trilinos와 Intel MKL를 뛰어넘는 성능을 보인다.

ABSTRACT

Owing to random memory access patterns, sparse matrix multiplication is traditionally performed in memory and scales to large matrices using the distributed memory of multiple nodes. In contrast, we scale sparse matrix multiplication by utilizing commodity SSDs. We implement sparse matrix dense matrix multiplication (SpMM) in a semi-external memory (SEM) fashion, i.e., we keep the sparse matrix on SSDs and dense matrices in memory. Our SEM SpMM can incorporate many in-memory optimizations for large power- law graphs with near-random vertex connection. Coupled with many I/O optimizations, our SEM SpMM achieves performance comparable to our in-memory implementation on a large parallel machine and outperforms the implementations in Trilinos and Intel MKL. Our experiments show that the SEM SpMM achieves almost 100% performance of the in-memory implementation on graphs when the dense matrix has more than four columns; it achieves at least 65% performance of the in-memory implementation for all of our graphs when the dense matrix has only one column. We apply our SpMM to three important data analysis applications and show that our SSD-based implementations can significantly outperform state of the art of these applications and scale to billion-node graphs.

연구 동기 및 목표

• 메모리 용량 제약으로 인해 빌리언 노드 그래프에 대해 메모리 내 희소 행렬 곱셈의 확장성에 한계가 있음을 해결한다.
• 기존의 입출력 기반 SpMM의 성능 저하 문제를 해결하기 위해 일반 소비자용 SSD를 주 메모리의 연장선으로 활용한다.
• 희소 행렬은 SSD에, 밀도 높은 행렬은 주 메모리에 유지하는 하이브리드 메모리 모델을 설계하여 메모리 압박을 줄인다.
• 주 메모리 내 SpMM 성능과 비교해도 손실가능성이 적은 성능을 달성하면서도 주 메모리에 담을 수 없는 너무 큰 그래프로도 확장 가능하도록 한다.
• 빌리언 노드 그래프에서 PageRank, SVD, 스펙트럼 클러스터링과 같은 대규모 그래프 워크로드를 효율적으로 실행할 수 있도록 한다.

제안 방법

• 희소 행렬을 SSD에 저장하고 밀도 높은 행렬을 주 메모리에 유지하는 반외부 메모리(SEM) 모델을 기반으로 SpMM를 구현한다.
• 밀도 높은 행렬 계산 단계에 코어 융합과 캐시에 민감한 타일링 같은 메모리 내 최적화 기법을 적용한다.
• 입출력 최적화된 데이터 레이아웃과 비동기 입출력 패턴을 통합하여 SSD에서 희소 행렬 데이터를 읽는 데 소요되는 지연 시간을 줄인다.
• 계산과 입출력 작업을 겹치는 하이브리드 실행 모델을 사용하여 데이터 전송 지연을 숨긴다.
• 실세계 그래프의 파워 법칙적 구조를 활용하여 SpMM 동안의 랜덤 액세스 오버헤드를 최소화한다.
• 프리패칭과 메모리 정렬 전략을 사용한 압축 희소 행렬(CSR) 형식을 활용해 데이터 액세스 패턴을 최적화한다.

실험 결과

연구 질문

• RQ1 일반 소비자용 SSD를 사용하여 반외부 메모리 SpMM이 빌리언 노드 그래프에서 거의 메모리 내 성능을 달성할 수 있는가?
• RQ2 밀도 높은 행렬의 열 수가 변할 경우 SEM SpMM의 성능는 어떻게 변화하는가?
• RQ3 입출력 최적화와 메모리 내 알고리즘 기법을 조합하면, 메모리 내 SpMM과 반외부 SpMM 간의 성능 격차를 어느 정도 줄일 수 있는가?
• RQ4 실제 그래프 워크로드에서 제안된 SEM SpMM은 Trilinos와 Intel MKL과 같은 최첨단 라이브러리와 비교해 어떻게 성능을 냈는가?
• RQ5 SEM SpMM는 빌리언 노드 그래프에서 PageRank와 SVD와 같은 대규모 그래프 분석 애플리케이션을 효율적으로 가속화할 수 있는가?

주요 결과

• 밀도 높은 행렬의 열 수가 네 개를 초과할 경우, 대규모 파워 법칙 그래프에서 SEM SpMM이 메모리 내 성능의 최대 100%를 달성한다.
• 밀도 높은 행렬의 열 수가 한 개일 경우, 테스트된 모든 그래프에서 SEM SpMM이 최소 65%의 메모리 내 성능을 유지한다.
• 대규모 그래프 워크로드에서 SEM SpMM의 실행 시간이 Trilinos와 Intel MKL를 모두 뛰어넘는다.
• 이 프레임워크는 빌리언 노드 그래프로도 확장 가능하여 효율적인 데이터 분석 파이프라인 실행을 가능하게 한다.
• 입출력 최적화와 메모리 내 알고리즘 기법의 조합이 희소 행렬을 SSD로 이관했을 때 발생하는 성능 저하를 효과적으로 완화한다.
• 이 방법은 대규모 주 메모리가 필요하지 않은 일반 하드웨어 환경에서도 메모리 집약적인 그래프 알고리즘의 실용적 구현을 가능하게 한다.