[논문 리뷰] Graph Coloring Algorithms for Muti-core and Massively Multithreaded Architectures

Ümit V. Çatalyürek, John Feo외 3명|arXiv (Cornell University)|2012. 05. 16.

Parallel Computing and Optimization Techniques참고 문헌 22인용 수 7

한 줄 요약

이 논문은 공유 메모리 시스템을 위한 두 가지 다중 스레드 기반 그래프 색칠 알고리즘을 제안한다: 일반적인 다중 코어 플랫폼에 적합한 반복적 사전 예측 알고리즘과, 막대한 다중 스레딩을 갖춘 Cray XMT에 최적화된 데이터플로우 기반 알고리즘. 두 알고리즘 모두 근사 선형 속도 향상과 순차적 탐욕 알고리즘 수준의 해 품질을 유지하며, 다양한 아키텍처에서 스레드 동시성과 메모리 계층의 다양성에 걸쳐 효과적인 성능 스케일링을 보여준다.

ABSTRACT

We explore the interplay between architectures and algorithm design in the context of shared-memory platforms and a specific graph problem of central importance in scientific and high-performance computing, distance-1 graph coloring. We introduce two different kinds of multithreaded heuristic algorithms for the stated, NP-hard, problem. The first algorithm relies on speculation and iteration, and is suitable for any shared-memory system. The second algorithm uses dataflow principles, and is targeted at the non-conventional, massively multithreaded Cray XMT system. We study the performance of the algorithms on the Cray XMT and two multi-core systems, Sun Niagara 2 and Intel Nehalem. Together, the three systems represent a spectrum of multithreading capabilities and memory structure. As testbed, we use synthetically generated large-scale graphs carefully chosen to cover a wide range of input types. The results show that the algorithms have scalable runtime performance and use nearly the same number of colors as the underlying serial algorithm, which in turn is effective in practice. The study provides insight into the design of high performance algorithms for irregular problems on many-core architectures.

연구 동기 및 목표

• 다양한 수준의 다중 스레딩과 메모리 계층을 갖춘 현대의 공유 메모리 플랫폼에서 효율적으로 스케일링되는 고성능 다중 스레드 기반 그래프 색칠 알고리즘을 설계한다.
• Intel Nehalem, Sun Niagara 2, Cray XMT와 같은 다양한 아키텍처에서 이러한 알고리즘의 성능을 평가한다. 이들은 동시성과 메모리 특성의 스펙트럼을 대표한다.
• 알고리즘 설계가 비정규적 그래프 문제에서 하드웨어 지원 동기화 및 스레드 수준 병렬성과 같은 아키텍처적 특징을 어떻게 활용할 수 있는지 탐구한다.
• 높은 병렬 스케일링 성능을 달성하면서도 순차적 탐욕 알고리즘 수준의 해 품질(색상 수)을 유지한다.

제안 방법

• 반복 알고리즘은 색상 충돌을 병렬적으로 해결하기 위해 사전 예측과 반복적 정밀화를 사용하며, 중간에서 높은 수준의 스레드 동시성을 갖는 공유 메모리 시스템에 적합하다.
• 데이터플로우 기반 알고리즘은 Cray XMT의 세밀한 수준의 하드웨어 지원 동기화를 활용하여, 막대한 다중 스레딩과 저지연 시간 동기화 원자 명령어를 효과적으로 이용한다.
• 두 알고리즘 모두 순차적 탐욕 색칠 프레임워크를 기반으로 하며, 해 품질 향상을 위해 정점 순서 결정 히우리스틱을 사용한다.
• 알고리즘은 다양한 구조적 특성을 갖는 합성 대규모 그래프(RMAT-ER, RMAT-G, RMAT-B)에서 평가되며, 다양한 입력 유형을 포괄한다.
• 성능는 런타임 속도 향상, 사용된 색상 수, 그리고 다양한 플랫폼과 스레드 수에서의 충돌 해결 패턴을 기준으로 측정된다.
• 메모리 지연, 동기화 오버헤드, 비정규적 액세스 패턴과 같은 블로킹 요인을 분석하여 알고리즘적 및 아키텍처적 통찰을 도출한다.

실험 결과

연구 질문

• RQ1 다양한 수준의 다중 스레딩과 메모리 계층을 갖는 공유 메모리 시스템에서 탐욕적 그래프 색칠 알고리즘을 어떻게 효과적으로 병렬화할 수 있는가?
• RQ2 사전 예측 반복과 데이터플로우 실행 모델은 비정규적 그래프 문제에 대해 다중 코어 및 막대한 다중 스레딩 아키텍처에서 얼마나 잘 스케일링되는가?
• RQ3 다양한 그래프 유형과 아키텍처에서 병렬 알고리즘이 사용한 색상 수가 순차적 탐욕 기반 기준선과 비교해 어떻게 되는가?
• RQ4 병렬 그래프 색칠에서 주요 성능 블로킹 요인은 무엇이며, 캐시 크기와 스레드 동시성과 같은 아키텍처적 특성에 따라 어떻게 변화하는가?
• RQ5 비정규적이고 대규모 입력에서 해 품질을 희생시키지 않고도 고성능이고 확장 가능한 그래프 색칠을 달성할 수 있는가?

주요 결과

• 반복 알고리즘은 세 플랫폼 모두에서 세 가지 그래프 유형 중 두 개(RMAT-ER 및 RMAT-G)에서 근사 선형 속도 향상을 달성했으며, 가장 도전적인 그래프(RMAT-B)에서는 중간 수준의 속도 향상을 보였다.
• Cray XMT에서의 데이터플로우 알고리즘은 RMAT-ER 및 RMAT-G에서 근사 선형 속도 향상을 달성했으며, 막대한 다중 스레딩과 하드웨어 지원 동기화를 효과적으로 활용한 것으로 나타났다.
• 두 알고리즘 모두 순차적 탐욕 알고리즘과 거의 동일한 색상 수를 사용했다—각각 RMAT-ER, RMAT-G, RMAT-B에 대해 10, 27, 143개의 색상으로, 높은 해 품질을 입증했다.
• Cray XMT에서 높은 동시성으로 인한 색상 수 증가 폭은 매우 미미했으며, 특히 RMAT-B에서 그러한 경향이 두드러졌다. 이는 극도의 병렬성 하에서도 해 품질이 크게 떨어지지 않음을 시사한다.
• 첫 번째 반복 이후 색상 충돌 수가 급격히 감소했다(첫 번째 반복에서 약 90%에서 이후 반복에서는 훨씬 낮은 수준으로). 이는 초기 반복이 충돌 해결의 주요 기여를 한다는 것을 의미한다.
• 결과는 同시 다중 스레딩이 메모리 및 동기화 지연을 효과적으로 숨긴다는 것을 보여주며, 단일 코어에서 N개의 스레드를 사용한 성능이 N개의 코어에서 한 개의 스레드를 사용한 성능과 유사하다. 특히 XMT와 Niagara 2와 같이 캐시가 제한된 시스템에서 그러한 경향이 두드러졌다.