[논문 리뷰] An SSD-based eigensolver for spectral analysis on billion-node graphs

Da Zheng, Randal Burns외 3명|arXiv (Cornell University)|2016. 02. 03.

Graph Theory and Algorithms참고 문헌 19인용 수 4

한 줄 요약

FlashEigen는 SSD 기반의 고유값 해법기로, 밀도 높은 벡터 부분공간을 SSD에 저장하고 반외부 메모리에서 희소 행렬-벡터 곱셈을 수행함으로써 단일 머신에서 100억 노드 그래프의 스펙트럼 분석을 가능하게 한다. 이는 메모리 내 성능의 40%-60%를 달성하며, 120GB의 RAM을 사용하여 34억 노드, 1290억 간선의 그래프로 확장 가능하다.

ABSTRACT

Many eigensolvers such as ARPACK and Anasazi have been developed to compute eigenvalues of a large sparse matrix. These eigensolvers are limited by the capacity of RAM. They run in memory of a single machine for smaller eigenvalue problems and require the distributed memory for larger problems. In contrast, we develop an SSD-based eigensolver framework called FlashEigen, which extends Anasazi eigensolvers to SSDs, to compute eigenvalues of a graph with hundreds of millions or even billions of vertices in a single machine. FlashEigen performs sparse matrix multiplication in a semi-external memory fashion, i.e., we keep the sparse matrix on SSDs and the dense matrix in memory. We store the entire vector subspace on SSDs and reduce I/O to improve performance through caching the most recent dense matrix. Our result shows that FlashEigen is able to achieve 40%-60% performance of its in-memory implementation and has performance comparable to the Anasazi eigensolvers on a machine with 48 CPU cores. Furthermore, it is capable of scaling to a graph with 3.4 billion vertices and 129 billion edges. It takes about four hours to compute eight eigenvalues of the billion-node graph using 120 GB memory.

연구 동기 및 목표

• 제한된 RAM을 가진 단일 머신에서 100억 노드 그래프의 스펙트럼 분석을 가능하게 하기 위해.
• ARPACK나 Anasazi와 같은 전통적인 메모리 내 고유값 해법기의 메모리 용량 한계를 극복하기 위해.
• 대규모 희소 행렬 연산을 위해 SSD를 효율적으로 활용하는 외부 메모리 고유값 해법기를 설계하기 위해.
• 왜곡된 정점 차수 분포를 가진 힘의 법칙 그래프에서 I/O 및 메모리 액세스 패턴을 최적화하기 위해.
• DRAM보다 약 10배 느린 SSD임에도 불구하고, 메모리 내 고유값 해법기 수준의 높은 성능을 달성하기 위해.

제안 방법

• 반외부 메모리(SEM) 방식을 사용: 희소 행렬은 SSD에, 밀도 높은 행렬은 주 메모리에 유지.
• I/O 관리 및 운영체제 오버헤드 감소를 위해 사용자 영역 파일시스템(SAFS)을 구현.
• 밀도 높은 행렬 연산을 위한 메모리 내 최적화 기법으로 동적 로드 밸런싱, 캐시 블로킹, NUMA 기반 메모리 분포를 적용.
• SSD에 저장된 희소 행렬을 압축하여 I/O 부하를 줄이고 검색 속도를 향상.
• 최근에 사용된 밀도 높은 행렬을 캐시하고 중복 I/O를 최소화함으로써 밀도 높은 행렬 곱셈을 최적화.
• Anasazi에서 제공하는 Block Krylov-Schur 해법기를 활용하여 블록 업데이트를 지원하고 I/O 오버헤드를 감소.

실험 결과

연구 질문

• RQ1 일반적인 SSD를 사용하여 외부 메모리 고유값 해법기가 100억 노드 그래프에서 높은 성능을 달성할 수 있는가?
• RQ2 대규모 고유값 해법기에서 SSD에서의 희소 및 밀도 높은 행렬 연산의 I/O 병목을 어떻게 완화할 수 있는가?
• RQ3 벡터 부분공간을 SSD 기반으로 저장함으로써 메모리 압박을 얼마나 줄일 수 있으며, 주 메모리 용량 한계를 초월한 확장성을 어떻게 달성할 수 있는가?
• RQ4 SSD 기반 고유값 해법기의 런타임 및 I/O 효율성은 메모리 내 대체품과 비교해 어떤가?
• RQ5 제안된 최적화 기법이 일반 하드웨어에서 SSD I/O 대역폭을 포화시키고 최대 수준의 스루풋을 달성할 수 있는가?

주요 결과

• FlashEigen는 48코어 머신에서 메모리 내 대체품 대비 40%-60%의 성능을 달성한다.
• 시스템은 120GB의 RAM을 사용하여 34억 노드, 1290억 간선의 그래프로 확장되며, 약 네 시간 내에 여덟 개의 고유값을 계산한다.
• 평균 I/O 스루풋은 10GB/s에 도달하여 SSD 어레이의 이론적 최대치에 가까워진다.
• 외부 메모리 기반의 밀도 높은 행렬 곱셈은 메모리 내 대비 3~4배 느리지만, I/O 최적화 기법 덕분에 SSD 대역폭을 포화시킬 수 있다.
• 고유값 해법기는 낮은 메모리 소비를 유지하여 사용자가 수렴 속도를 높이기 위해 더 큰 부분공간 크기를 선택할 수 있다.
• 대상 I/O 및 메모리 최적화 덕분에 FlashEigen는 MKL 및 Trilinos 구현보다 SSD 기반 워크로드에서 뛰어난 성능을 보인다.