[논문 리뷰] A Survey of Numerical Methods Utilizing Mixed Precision Arithmetic

Ahmad Abdelfattah, Hartwig Anzt외 23명|arXiv (Cornell University)|2020. 07. 13.

Numerical Methods and Algorithms참고 문헌 94인용 수 24

한 줄 요약

이 종합 검토는 과학 계산의 성능을 햖스르기 위해 혼합 정밀도 산술, 특히 NVIDIA Tensor Cores와 같은 저정밀도 하드웨어를 활용하는 최신 수치 방법을 종합한다. 저정밀도 계산과 고정밀도 보정 기법을 조합함으로써 밀도 높은 및 희소 선형 대수, 크릴로프 해법기법, 조건부 행렬법 등에서 수치 정확도를 유지하면서도 성능 향상을 크게 이룰 수 있음을 보여주며, 이는 최대 10배의 속도 향상까지 가능하다.

ABSTRACT

Within the past years, hardware vendors have started designing low precision special function units in response to the demand of the Machine Learning community and their demand for high compute power in low precision formats. Also the server-line products are increasingly featuring low-precision special function units, such as the NVIDIA tensor cores in ORNL's Summit supercomputer providing more than an order of magnitude higher performance than what is available in IEEE double precision. At the same time, the gap between the compute power on the one hand and the memory bandwidth on the other hand keeps increasing, making data access and communication prohibitively expensive compared to arithmetic operations. To start the multiprecision focus effort, we survey the numerical linear algebra community and summarize all existing multiprecision knowledge, expertise, and software capabilities in this landscape analysis report. We also include current efforts and preliminary results that may not yet be considered "mature technology," but have the potential to grow into production quality within the multiprecision focus effort. As we expect the reader to be familiar with the basics of numerical linear algebra, we refrain from providing a detailed background on the algorithms themselves but focus on how mixed- and multiprecision technology can help improving the performance of these methods and present highlights of application significantly outperforming the traditional fixed precision methods.

연구 동기 및 목표

• 과학 계산 분야 전반에 걸친 혼합 정밀도 수치 알고리즘에 관한 기존 지식을 분석하고 통합하는 것.
• 엑사스케일 시스템에서 생산적 사용이 가능한 잠재력이 있는 신규 다중정밀도 기법을 식별하고 평가하는 것.
• 저정밀도 산술의 하드웨어 발전과 수치 선형 대수의 소프트웨어 알고리즘 설계 간 격차를 메우는 것.
• 엑사스케일 컴퓨팅 프로젝트가 강력하고 이식 가능하며 효율적인 다중정밀도 알고리즘 개발을 위해 안내하는 것.

제안 방법

• 저정밀도 산술 유닛을 활용해 혼합 정밀도 실행을 위한 기존 수치 선형 대수 알고리즘을 조사하고 변형하는 것.
• 클래식한 반복 보정 및 GMRES-IR과 같은 반복 보정 전략을 사용하여 저정밀도 해를 고정밀도 정확도로 보정하는 것.
• 데이터 이동을 줄이고 성능을 향상시키기 위해 정수형 양자화 LU 분해 및 혼합 정밀도 콘도스키 및 분해 방법을 도입하는 것.
• 대역폭 제약을 줄이기 위해 혼합 정밀도 MPI 및 근사 FFT를 포함한 데이터 압축 및 통신 기법을 설계하는 것.
• 저정밀도 계산에 대한 이론적 보장을 제공하기 위해 확률적 반올림 오차 분석을 활용하는 것.
• 템플릿 기반 스칼라 유형과 런타임 정밀도 제어를 통해 PETSc, Trilinos, Ginkgo, hypre 등의 주요 HPC 소프트웨어 스택에 다중정밀도 기능을 통합하는 것.

실험 결과

연구 질문

• RQ1 밀도 높은 및 희소 선형 대수 문제에 대해 혼합 정밀도 산술을 효과적으로 적용하여 정확도를 훼손하지 않고 성능을 향상시킬 수 있는 방법은 무엇인가?
• RQ2 저정밀도 산술을 사용할 경우 정확도를 유지하기 위해 가장 효과적인 알고리즘 전략은 무엇인가? (예: 반복 보정 또는 조건부 행렬법)
• RQ3 특히 분산 메모리 시스템에서 다중정밀도 알고리즘의 데이터 압축 및 통신 오버헤드를 어떻게 줄일 수 있는가?
• RQ4 확률적 반올림 오차 분석이 저정밀도 수치 계산에 적용될 때 이론적 및 실용적 한계는 무엇인가?
• RQ5 기존 HPC 소프트웨어 프레임워크는 어떻게 확장하여 최소한의 성능 또는 이식성 손실로 혼합 정밀도 계산을 네이티브로 지원할 수 있는가?

주요 결과

• Summit에서 Tensor Cores를 사용한 혼합 정밀도 GEMM(HGEMM)은 이중 정밀도 GEMM 대비 10배 이상의 속도 향상을 달성한다.
• 반정밀도 행렬-벡터 곱과 이중 정밀도 보정을 사용한 GMRES-IR은 전체 이중 정밀도 GMRES와 유사한 수렴 속도를 보이며, 뚜렷한 성능 향상을 얻는다.
• 정수형 양자화 LU 분해 방법은 메모리 트래픽을 줄이고, 특히 구조화된 행렬에 대해 더 빠른 분해를 가능하게 한다.
• 확률적 반올림 오차 분석 결과 오차 한계가 nu 대신 √(n log n)로 증가함을 확인하여 대규모에서 안정적인 저정밀도 계산이 가능함을 입증한다.
• PETSc, Trilinos, Ginkgo에 혼합 정밀도 지원을 통합함으로써 코드 변경 최소화로도 유연하고 고성능의 해법기구를 제공할 수 있게 되었다.
• 동적 분할 및 정확도 제어 기능을 갖춘 근사 FFT는 스펙트럼 방법에서 속도 향상을 이끌어내며, 수용 가능한 오차 수준을 유지한다.