[논문 리뷰] Adaptive algebraic multigrid on SIMD architectures

Simon Heybrock, Matthias Rottmann외 2명|arXiv (Cornell University)|2015. 12. 14.

Parallel Computing and Optimization Techniques참고 문헌 3인용 수 4

한 줄 요약

이 논문은 SIMD 아키텍처, 특히 QPACE 2의 인텔 Xeon Phi(KNC)를 대상으로 적응형 대수적 다중 격자 방법 DD-αAMG의 최적화된 구현을 제시한다. 제약, 보간, 군집 격자 연산자 설정 및 그람-슈미트 직교화와 같은 핵심 구성 요소를 벡터화함으로써, 저자들은 최대 20.2×의 속도 향상을 달성하였으며, 다중 격자 계산 시간을 무시할 수 없을 정도로 줄였고, 성능 저하 요인은 이제 군집 격자 해법의 통신으로 이동하였다. 이는 향후 최적화의 주요 대상이 되고 있다.

ABSTRACT

We present details of our implementation of the Wuppertal adaptive algebraic multigrid code DD-$α$AMG on SIMD architectures, with particular emphasis on the Intel Xeon Phi processor (KNC) used in QPACE 2. As a smoother, the algorithm uses a domain-decomposition-based solver code previously developed for the KNC in Regensburg. We optimized the remaining parts of the multigrid code and conclude that it is a very good target for SIMD architectures. Some of the remaining bottlenecks can be eliminated by vectorizing over multiple test vectors in the setup, which is discussed in the contribution of Daniel Richtmann.

연구 동기 및 목표

• SIMD 아키텍처, 특히 인텔 Xeon Phi(KNC)에서 효율적인 실행을 위해 Wuppertal DD-αAMG 대수적 다중 격자 코드를 적응 및 최적화하는 것.
• 특히 제약, 보간, 군집 격자 연산자 설정 및 그람-슈미트 직교화에 대해 SIMD 유닛에서의 벡터화를 활용하여 다중 격자 루프의 계산 병목 현상을 줄이는 것.
• 최적화 이후 나타나는 새로운 주요 성능 병목 현상을 식별하고 해결하는 것. 이는 군집 격자 해법 단계에서의 통신임이 밝혀졌다.
• 현대의 다핵 SIMD 시스템에서 적응형 대수적 다중 격자를 확장 가능하고 효율적인 조건부 조건자로 만들음으로써 고성능 라티스 QCD 시뮬레이션을 가능하게 하는 것.

제안 방법

• 다중 테스트 벡터의 구성 요소를 단일 SIMD 벡터로 통합하여 데이터 수준 병렬성을 향상시키고, SIMD 인트린식을 사용하여 제약 및 보간 연산을 벡터화함.
• 디랙 연산자 및 보간 행렬을 포함한 행렬-벡터 곱 연산에 SIMD 벡터화를 적용하여 군집 격자 연산자 설정을 최적화함.
• 블록 그람-슈미트 직교화를 SIMD 벡터화로 구현하여 캐시 재사용을 향상시키고 메모리 대역폭을 감소시켰으며, 벡터화 효율성 측면에서 고전적 그람-슈미트보다 수정된 그람-슈미트를 우선시하지 않음.
• 안정성 및 수렴성에 영향을 주지 않으면서도 메모리 대역폭과 작업 세트 크기를 줄이기 위해 군집 격자 연산자에 단정밀도 저장 방식을 적용함.
• 군집 격자 선형 대수 단계에서 SIMD 계산을 가능하게 하기 위해 실수부와 허수부를 실시간으로 분리하는 일시적인 대체 방법을 적용함.
• 이전 KNC 작업에서 사용된 원본 스무딩 코드를 유지하고, 특히 희소 행렬-벡터 곱 연산 및 직교화를 포함한 나머지 다중 격자 구성 요소에 최적화에 집중함.

실험 결과

연구 질문

• RQ1 DD-αAMG 알고리즘은 인텔 Xeon Phi(KNC)와 같은 SIMD 아키텍처에 효과적으로 적응 및 벡터화될 수 있는가?
• RQ2 벡터화 이후 다중 격자 루프에서 성능 병목 현상은 기존 코드와 비교해 어떻게 변화하는가?
• RQ3 제약, 보간, 군집 격자 설정 및 그람-슈미트 연산의 벡터화가 SIMD 유닛에서 성능 향상에 얼마나 기여하는가?
• RQ4 군집 격자 연산자에 대해 단정밀도 저장 방식을 안전하게 사용할 수 있는가? 이는 수렴성 또는 안정성에 영향을 주지 않는다.
• RQ5 최적화 이후 군집 격자 해법에서 통신 오버헤드(예: 할로 교환 및 전역 합산)는 어떤 역할을 하는가? 이를 완화할 수 있는가?

주요 결과

• 군집 격자 연산자에 대한 비대칭 블록에 대한 적용에서 최대 20.2×의 속도 향상이 달성되었으며, 군집 격자 연산자 설정에서는 19.7×의 속도 향상이 이루어졌다.
• 제약 및 보간 연산은 각각 14.1× 및 8.6×의 속도 향상을 기록하였으며, 이는 다중 테스트 벡터의 효과적인 SIMD 벡터화 덕분이었다.
• 집합체에서의 그람-슈미트 직교화는 10.8×의 속도 향상을 기록하였으며, 이는 SIMD 데이터 레이아웃을 활용한 블록 그람-슈미트의 효과를 입증하였다.
• 최적화 이후 다중 격자 구성 요소는 더 이상 실행 시간을 지배하지 않으며, 오히려 군집 격자 해법의 통신 오버헤드(할로 교환 및 전역 합산)가 주요 병목 현상이 되었다.
• 군집 격자 연산자에 단정밀도 저장 방식을 사용해도 안정성 또는 수렴성이 떨어지지 않았으며, 메모리 대역폭을 줄이기 위해 기본 설정으로 채택되었다.
• 저자들은 DD-αAMG가 SIMD 아키텍처에 매우 적합하며, 군집 격자 해법에서의 통신이 향후 최적화의 주요 초점이 되어야 한다고 결론 내렸다.