[논문 리뷰] TAPSpMV: Topology-Aware Parallel Sparse Matrix Vector Multiplication.

Amanda Bienz, William Gropp외 1명|arXiv (Cornell University)|2016. 12. 23.

Interconnection Networks and Systems인용 수 3

한 줄 요약

TAPSpMV는 분산 메모리 시스템에서 메시지를 각 노드에서 재구성하여 네트워크 간 통신을 더 저렴한 노드 내 통신으로 이동시키는 토폴로지 인식형 병렬 희소 행렬-벡터 곱셈(SpMV) 방법을 제안한다. 네트워크 메시지의 수와 크기를 최소화함으로써 통신 오버헤드를 감소시키고, 분산 메모리 시스템에서의 성능을 향상시킨다.

ABSTRACT

This paper introduces a method to reduce communication that is injected into the network during a sparse matrix-vector multiply by reorganizing messages on each node. This results in a reduction of the inter-node communication, replaced by less-costly intra-node communication, which reduces both the number and size of messages that are injected into the network.

연구 동기 및 목표

• 분산 메모리 시스템에서 병렬 희소 행렬-벡터 곱셈(SpMV)의 노드 간 통신 비용을 줄이기.
• SpMV 계산 중 높은 부하와 높은 지연 시간을 유발하는 네트워크 통신으로 인한 성능 저하 문제를 해결하기.
• 메시지 재구성을 통해 저비용의 노드 내 통신을 우선시함으로써 확장성과 효율성을 향상시키기.
• 노드 수준의 토폴로지 인식을 활용하여 네트워크에 메시지를 더 최적화된 방식으로 주입하기.

제안 방법

• 각 계산 노드에서 네트워크를 통해 전송되는 메시지의 수와 크기를 최소화하기 위해 메시지를 재구성하기.
• 빠른 노드 내 통신으로 처리할 수 있는 통신 패턴을 그룹화하기 위해 토폴로지 인식 데이터 레이아웃 사용하기.
• 원격 메모리 액세스와 네트워크 트래픽을 줄일 수 있도록 SpMV 계산을 재구성하여 데이터와 연산을 공유 위치에 배치하기.
• 다수의 작은 메시지를 하나의 더 큰 메시지로 통합하여 네트워크 주입 오버헤드를 줄이는 메시지 집계 전략 적용하기.
• 네트워크 토폴로지에 맞는 통신 패턴 설계를 통해 경쟁을 방지하고 대역폭 활용도를 향상시키기.
• 로드 밸런스와 확장성을 유지하기 위해 재구성 로직을 SpMV 커널에 통합하기.

실험 결과

연구 질문

• RQ1 병렬 SpMV에서 노드 간 통신을 어떻게 줄여 성능을 향상시킬 수 있는가?
• RQ2 노드 수준의 토폴로지 인식은 네트워크 메시지 주입을 최소화하는 데 어떤 역할을 하는가?
• RQ3 로드 밸런스를 떨어뜨리지 않고 노드 내 통신이 비용이 많이 드는 노드 간 통신을 대체할 수 있는가?
• RQ4 메시지 재구성은 SpMV에서 전체 통신 부담과 지연 시간에 어떤 영향을 미치는가?
• RQ5 실제 희소 행렬에 대해 토폴로지 인식 메시지 스케줄링의 성능에 어떤 영향을 미치는가?

주요 결과

• TAPSpMV는 각 노드에서 통신 패턴을 재구성함으로써 네트워크에 주입되는 메시지의 수를 줄였다.
• 이 방법은 노드 간 통신에서 노드 내 통신으로 트래픽을 이동시켜 총 통신 부담을 감소시켰다.
• 네트워크 주입을 최소화함으로써 TAPSpMV는 분산 시스템에서 낮은 지연 시간과 향상된 확장성을 달성했다.
• 토폴로지 인식 재구성 덕분에 가용 대역폭의 더 효율적인 사용과 경쟁 감소가 가능해졌다.
• SpMV 워크로드에서 통신 오버헤드를 크게 줄였지만 로드 밸런스를 유지하는 데 성공했다.
• 불규칙한 희소성 패턴을 가진 행렬에서 성능 향상이 가장 두드러졌다.