[논문 리뷰] Performance of SSE and AVX Instruction Sets

Hwancheol Jeong, Sung‐Hoon Kim외 2명|arXiv (Cornell University)|2012. 11. 05.

Distributed and Parallel Computing Systems참고 문헌 1인용 수 26

한 줄 요약

이 논문은 수작업 SIMD 프로그래밍을 통해 격자 양성계량 이론 시뮬레이션을 최적화하기 위한 SSE 및 AVX 명령 세트의 성능을 평가한다. 데이터 패킹, 데이터 재사용, 비동기 프리패칭을 적용함으로써 저자들은 AVX1이 SSE4.2보다 최대 3배 빠른 성능을 보이며, 일반 C++ 코드 대비 10배 이상의 성능 향상을 입증한다. 이는 선형 대수학 기반의 물리 워크로드에서 계산 효율성을 크게 향상시킨다.

ABSTRACT

SSE (streaming SIMD extensions) and AVX (advanced vector extensions) are SIMD (single instruction multiple data streams) instruction sets supported by recent CPUs manufactured in Intel and AMD. This SIMD programming allows parallel processing by multiple cores in a single CPU. Basic arithmetic and data transfer operations such as sum, multiplication and square root can be processed simultaneously. Although popular compilers such as GNU compilers and Intel compilers provide automatic SIMD optimization options, one can obtain better performance by a manual SIMD programming with proper optimization: data packing, data reuse and asynchronous data transfer. In particular, linear algebraic operations of vectors and matrices can be easily optimized by the SIMD programming. Typical calculations in lattice gauge theory are composed of linear algebraic operations of gauge link matrices and fermion vectors, and so can adopt the manual SIMD programming to improve the performance.

연구 동기 및 목표

• 격자 양성계량 이론 시뮬레이션에서 SSE 및 AVX 명령 세트의 성능 향상 여부를 평가하는 것.
• 수작업 SIMD 프로그래밍을 통해 데이터 패킹, 재사용, 비동기 데이터 전송이 계산 효율성에 어떻게 기여하는지 조사하는 것.
• 다양한 최적화 수준과 워크로드에서 일반 C++, SSE4.2, AVX1 간의 성능을 비교하는 것.
• 산술 밀도와 메모리 액세스 패턴이 SIMD 성능에 미치는 영향을 정량화하는 것.

제안 방법

• 최고의 성능을 위해 인라인 어셈블리어를 사용하여, 세 가지 접근 방식(인라인 어셈블리어, 인트린식 함수, 벡터 클래스)을 통해 SIMD 연산을 구현하는 것.
• XMM/YMM 레지스터에 다수의 부동소수점 값(4개의 단정밀도 또는 8개의 단정밀도)을 패킹하여 병렬 처리하는 것.
• 중간 결과를 레지스터에 유지함으로써 메모리 전송 횟수를 줄이는 데이터 재사용 기법을 적용하는 것.
• 메모리 지연을 줄이고 계산과 데이터 전송을 겹치기 위해 프리패칭 명령어(예: `prefetch1`)를 사용하는 것.
• 반복적 합산 및 데이터 복사 작업에 대해 CPU 클럭 주기 수를 측정하여 C++, SSE4.2, AVX1 간의 성능을 측정하는 것.
• 산술 밀도(AI)를 핵심 메트릭으로 삼아 계산 처리량과 메모리 대역폭 간의 상관관계를 분석하는 것.

실험 결과

연구 질문

• RQ1 격자 양성계량 이론의 수치 시뮬레이션에서 SSE와 AVX 명령 세트의 성능는 어떻게 비교되는가?
• RQ2 데이터 패킹 및 재사용을 통한 수작업 SIMD 프로그래밍이 자동 최적화 C++ 코드보다 얼마나 뛰어난가?
• RQ3 비동기 데이터 전송을 통한 프리패칭이 SIMD 워크로드의 메모리 병목 현상을 얼마나 효과적으로 줄이는가?
• RQ4 산술 밀도가 AVX와 SSE의 성능 스케일링에 미치는 영향은 무엇인가?
• RQ5 벡터 클래스 추상화가 고성능 계산에서 인트린식 함수나 인라인 어셈블리어 수준의 성능을 따라할 수 있는가?

주요 결과

• AVX1은 10⁹회의 합산에 대해 26.9 × 10⁴ CPU 클럭을 기록했으며, 최적화 없이 실행된 일반 C++ 코드의 732 × 10⁴ 클럭 대비 27배 빠른 성능을 보였다.
• SSE4.2는 최대 최적화 조건에서 78.8 × 10⁴ 클럭으로 줄어들었으며, 여전히 일반 C++ 코드 대비 9.3배 빠른 성능을 기록했다.
• 동일한 합산 워크로드에서 AVX1은 SSE4.2보다 약 3배 더 빠른 성능을 보였으며, 이는 256비트 YMM 레지스터가 128비트 XMM 레지스터보다 더 넓은 폭을 제공하기 때문이었다.
• 프리패칭은 AVX1에서 성능을 5% 향상시켰고, SSE4.2에서는 1.5% 향상시켰다. 이는 운영체제 및 시스템 수준의 메모리 관리 간섭으로 인해 효과가 제한적이었다는 것을 시사한다.
• 데이터 재사용은 메모리 대역폭 압력을 크게 줄였으며, SIMD 방법은 동일한 데이터를 반복적으로 다시 로딩하는 것을 방지함으로써 산술 밀도를 향상시켰다.
• 이 연구는 수작업 SIMD 최적화—특히 인라인 어셈블리어를 사용한 경우—가 최대 최적화 수준에서도 컴파일러 자동 최적화보다 훨씬 높은 성능을 제공함을 확인했다.