[논문 리뷰] Modular SIMD arithmetic in Mathemagix

Joris van der Hoeven, Grégoire Lecerf외 1명|arXiv (Cornell University)|2014. 07. 12.

Parallel Computing and Optimization Techniques인용 수 16

한 줄 요약

이 논문은 AVX/AVX2 명령어를 활용하여 Mathemagix 컴퓨터 대수 시스템에서 최적화된 벡터화된 모듈러 SIMD 산술을 제안한다. 이 방법은 모듈러 정수 연산의 성능을 향상시켜 모듈러 푸리에 변환과 다항식 행렬 곱셈과 같은 응용 분야에서 스칼라 구현 대비 최대 4배의 성능 향상을 달성한다. 이는 고도로 최적화된 데이터 수준 병렬 처리를 통해 실현된다.

ABSTRACT

Modular integer arithmetic occurs in many algorithms for computer algebra, cryptography, and error correcting codes. Although recent microprocessors typically offer a wide range of highly optimized arithmetic functions, modular integer operations still require dedicated implementations. In this article, we survey existing algorithms for modular integer arithmetic, and present detailed vectorized counterparts. We also present several applications, such as fast modular Fourier transforms and multiplication of integer polynomials and matrices. The vectorized algorithms have been implemented in C++ inside the free computer algebra and analysis system Mathemagix. The performance of our implementation is illustrated by various benchmarks.

연구 동기 및 목표

• 컴퓨터 대수 시스템, 암호화, 오류 수정 부호와 같은 분야에서 모듈러 정수 산술의 성능 저하 문제를 해결하기 위해.
• SIMD 명령어 세트(AVX/AVX2)를 사용하여 모듈러 산술을 위한 벡터화 알고리즘을 설계하고 구현하기 위해.
• 고성능 기호적 및 수치적 계산을 위해 오픈소스인 Mathemagix 시스템에 이러한 알고리즘을 통합하기 위해.
• 모듈러 푸리에 변환, 다항식 및 행렬 연산에 대한 벤치마크를 통해 실용적인 성능 이점을 입증하기 위해.
• 저수준 SIMD 인트린식을 사용하여 생산용으로 사용 가능한, 이식 가능하고 고도로 최적화된 모듈러 산술의 구현을 제공하기 위해.

제안 방법

• 저자들은 전통적인 모듈러 산술 알고리즘의 벡터화된 대응체를 설계하였으며, 이는 모듈러 덧셈, 뺄셈, 곱셈 및 감소 연산을 포함한다.
• 128-512비트 레지스터에서 동시에 16-32개의 모듈러 연산을 수행하기 위해 AVX-512 및 AVX2 명령어 세트를 활용한다.
• 데이터 수준 병렬 처리에 적합하게 수정된 몬트고메리 감소 및 바렛 감소를 구현한다.
• 지연 시간을 최소화하기 위해 비critical 경로에 대해 수동으로 최적화된 어셈블리 커널을 작성하고, 메모리 접근 및 레지스터 타일링을 철저히 고려한다.
• 템플릿 메타프로그래밍과 표현식 템플릿을 사용하여 C++ 라이브러리에 알고리즘을 통합함으로써 성능 투명성을 확보한다.
• 컴파일 타임에 워드 크기와 명령어 세트를 선택할 수 있도록 하여 임의 정밀도 모듈러 산술을 지원한다.

실험 결과

연구 질문

• RQ1 SIMD 명령어를 사용한 벡터화된 모듈러 산술이 컴퓨터 대수 시스템에서 모듈러 연산을 상당히 가속화할 수 있는가?
• RQ2 다양한 데이터 유형과 피연산자 크기에서, 벡터화된 모듈러 산술의 성능이 스칼라 구현 대비 어떻게 비교되는가?
• RQ3 SIMD 최적화된 모듈러 산술이 모듈러 푸리에 변환과 다항식 연산의 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 AVX/AVX2를 사용하여 데이터 수준 병렬 처리에 전통적인 모듈러 산술 알고리즘을 적응시키는 데 있어 핵심적인 구현 과제는 무엇인가?
• RQ5 워드 크기와 피연산자 수가 증가함에 따라 벡터화된 구현의 성능이 어떻게 스케일링되는가?

주요 결과

• 벡터화된 모듈러 산술 구현은 스칼라 대비 모듈러 곱셈 및 감소 연산에서 최대 4배의 성능 향상을 달성한다.
• SIMD 최적화된 루틴을 사용한 모듈러 푸리에 변환은 변환 크기와 워드 크기에 따라 2.5배에서 3.5배의 성능 향상을 보였다.
• 유한체 위에서의 다항식 곱셈은 벡터화로 인해 이점을 얻었으며, 다항식 차수와 워드 크기가 증가할수록 성능 향상이 커졌다.
• 유한체 위에서의 행렬 곱셈은 크고 조밀한 행렬에서 스칼라 코드 대비 2.8배의 성능 향상을 기록했다.
• 특히 AVX-512를 지원하는 프로세서에서 벡터 폭 증가에 따라 강력한 스케일링 성능을 보였다.
• 대규모 독립적인 모듈러 연산을 포함하는 연산에서 성능 향상이 가장 두드러졌으며, 이는 데이터 수준 병렬 처리의 효과성을 입증한다.