[논문 리뷰] A Characterization of the SPARC T3-4 System

M.W. van Tol|arXiv (Cornell University)|2011. 06. 15.

Parallel Computing and Optimization Techniques참고 문헌 4인용 수 4

한 줄 요약

이 논문은 64-core SPARC T3-4 시스템의 성능을 인텔 Xeon과 AMD 옵테론이라는 두 가지 x86 기반 시스템과 비교하여 평가한다. 계산 및 메모리 대역폭, POSIX 스레드 동작, 미세한 스레드 병렬 처리 환경에서의 확장성 등을 측정한다. T3-4는 512개 스레드까지 뛰어난 확장성을 보이며, 하드웨어 곱셈-누적 지원 덕분에 메모리 대역폭과 부동소수점 작업에서 뛰어난 성능을 발휘하지만, 높은 스레드 수에서 원자적 compare-and-swap 연산을 수행할 경우 심각한 성능 저하를 겪는다.

ABSTRACT

This technical report covers a set of experiments on the 64-core SPARC T3-4 system, comparing it to two similar AMD and Intel systems. Key characteristics as maximum integer and floating point arithmetic throughput are measured as well as memory throughput, showing the scalability of the SPARC T3-4 system. The performance of POSIX threads primitives is characterized and compared in detail, such as thread creation and mutex synchronization. Scalability tests with a fine grained multithreaded runtime are performed, showing problems with atomic CAS operations on such physically highly parallel systems.

연구 동기 및 목표

• 매우 병렬 처리가 요구되는 워크로드 하에서 64-core SPARC T3-4 시스템의 성능 한계를 평가하기 위해.
• T3-4의 계산 및 메모리 대역폭 성능을 두 가지 x86 기반 기준 시스템(인텔 Xeon 및 AMD 옵테론)과 비교하기 위해.
• 특히 스레드 생성 및 동기화를 포함한 POSIX 스레드 프리미티브의 동작 방식을 T3-4 시스템에서 조사하기 위해.
• 특히 높은 스레드 수에서의 상황을 고려하여, 미세한 스레드 병렬 처리 런타임(SVP-ptl)의 확장성 평가하기 위해.
• 특히 CMT 아키텍처에서 원자 연산과 관련된 성능 저하 요인을 규명하기 위해.

제안 방법

• 1에서 512개 스레드까지의 계산 성능을 측정하기 위해 통제된 실험을 수행하여 정수 및 부동소수점 산술 처리 능력을 측정하였다.
• 포화 상태에 도달하는 지점을 파악하기 위해 메모리 대역폭을 집중적으로 사용하는 워크로드를 사용하여 메모리 대역폭을 측정하였다.
• 모든 세 시스템에서 POSIX 스레드 프리미티브(스레드 생성, mutex, 조건 변수 동기화)를 벤치마크하여 성능을 측정하였다.
• SVP-ptl 기반 응용 프로그램(재귀적 FFT 및 행렬 곱셈 포함)을 실행하여, 미세한 병렬 처리 환경에서의 확장성 평가를 수행하였다.
• 스레드 매핑 전략을 사용하여 운영 체제 스케줄링 동작 및 코어 간 로드 분포를 평가하였다.
• 특히 원자적 compare-and-swap(CAS) 연산에 초점을 맞춰 극도로 높은 스레드 수에서의 성능 저하를 분석하였다.

실험 결과

연구 질문

• RQ1 T3-4 시스템은 하드웨어 스레드 수가 적은 x86 기반 시스템과 비교해 정수 및 부동소수점 처리 능력에서 어떻게 확장되는가?
• RQ2 T3-4에서 확보 가능한 최대 메모리 대역폭은 얼마이며, 기준 x86 시스템과 비교해 어떻게 되는가?
• RQ3 T3-4에서 POSIX 스레드 프리미티브(생성, mutex, 조건 변수)의 성능은 리눅스 기반 x86 시스템과 비교해 어떻게 되는가?
• RQ4 512개 하드웨어 스레드를 가진 시스템에서 원자적 compare-and-swap 연산을 사용할 경우 성능에 어떤 영향을 미치는가?
• RQ5 T3-4 시스템은 SVP-ptl과 같은 미세한 스레드 병렬 처리 런타임을 요구하는 워크로드를 어떻게 처리하는가, 특히 극도로 많은 스레드가 필요한 경우에 대해 어떻게 되는가?

주요 결과

• T3-4 시스템은 512개 스레드에 도달할 때까지 정수 및 부동소수점 산술 유닛이 포화 상태에 도달하며, 이는 뛰어난 계산 확장성을 보여준다.
• T3-4의 메모리 대역폭은 약 256개 스레드에서 포화 상태에 도달하며, 기준 시스템 두 대와 비교해 두 배 이상 뛰어난 성능을 보인다.
• 512개의 스레드를 가진 $1024 \times 1024$ 행렬 곱셈에 5회의 재귀를 적용한 경우, T3-4는 최적 성능 대비 20배의 저하를 겪었고, X4470과 Magny Cours는 각각 69배와 174배의 저하를 겪었다.
• 단일 재귀를 가진 행렬 곱셈에서 T3-4는 x86 아키텍처에 존재하지 않는 전용 하드웨어 곱셈-누적 명령어 덕분에 두 기준 x86 시스템보다 뛰어난 성능을 보였다.
• 원자적 compare-and-swap(CAS) 연산은 T3-4에서 심각한 성능 저하를 유발하였으며, 한 경우에서는 2분간 정지하는 현상까지 발생하였다. 이는 더 높은 스레드 동시성 덕분에 x86 시스템보다 악영향이 더 심했다.
• T3-4에서 솔라리스 환경에서의 스레드 생성 및 동기화가 리눅스 기반 x86 시스템보다 훨씬 느렸으며, 이는 운영 체제 런타임에서 성능 저하 요인이 있음을 시사한다.