[논문 리뷰] Tensors Come of Age: Why the AI Revolution will help HPC

John L. Gustafson, Lenore M. R. Mullin|arXiv (Cornell University)|2017. 09. 26.

Computational Physics and Python Applications인용 수 5

한 줄 요약

이 논문은 텐서 기반 계산이 주도하는 인공지능 혁명이 자동화된 텐서 알고리즘, A Mathematics of Arrays, 파시 계산법, Unum 산술을 통해 기계적으로 증명 가능하고 확장성 있고 수치적으로 정확한 소프트웨어를 가능하게 하여 고성능 계산(HPC)을 크게 발전시킬 것이라고 주장한다. 주요 기여는 AI 및 HPC 분야 간의 통합된 프레임워크로, 이는 HPC 워크로드의 이식성, 정확성, 정밀도를 향상시킨다.

ABSTRACT

This article discusses how the automation of tensor algorithms, based on A Mathematics of Arrays and Psi Calculus, and a new way to represent numbers, Unum Arithmetic, enables mechanically provable, scalable, portable, and more numerically accurate software.

연구 동기 및 목표

• 자동화된 텐서 알고리즘 생성을 통해 HPC 소프트웨어의 점점 증가하는 복잡성과 정확성 부족 문제를 해결하기 위해.
• Unum 산술의 도입을 통해 HPC 응용 프로그램의 수치 정확성과 이식성을 향상시키기 위해.
• A Mathematics of Arrays와 파시 계산법을 사용하여 텐서 기반 HPC 코드의 기계적 증명 가능성을 보장하기 위해.
• 딥 러닝의 인공지능 혁명이 공유되는 계산 철학을 통해 기존 HPC 워크로드에 직접적으로 기여할 수 있음을 보여주기 위해.
• AI와 HPC 분야 간의 텐서 계산을 통합하여 개발 및 검증 오버헤드를 줄이기 위해.

제안 방법

• 수학적으로 엄밀한 방식으로 배열 및 텐서 연산을 공식적으로 명세하고 추론하기 위해 A Mathematics of Arrays를 활용하여.
• 형식적 의미론을 갖춘 동시성과 조합 가능성을 갖춘 텐서 연산을 모델링하고 검증하기 위해 파시 계산법을 사용하여.
• 변동 가능한 정밀도 수치 표현 방식으로 수치 오차를 줄이고 정확성을 향상시키기 위해 Unum 산술을 도입하여.
• 고수준 명세에서 자동으로 텐서 알고리즘을 생성하여 수동 코딩 오류를 제거하고 이식성을 향상시키기 위해.
• 다양한 아키텍처에서 텐서 기반 HPC 코드의 정확성과 확장성을 보장하기 위해 형식적 검증 기법을 사용하여.
• 텐서 추상화와 형식적 방법을 결합하여 기계적으로 증명 가능하고, 이식성 있고, 효율적인 HPC 소프트웨어를 가능하게 하여.

실험 결과

연구 질문

• RQ1 AI 분야의 텐서 계산 프레임워크는 기존 HPC 워크로드의 정확성과 성능을 향상시키기 위해 어떻게 적응시킬 수 있는가?
• RQ2 표준 부동소수점 산술에 비해 Unum 산술은 HPC 응용 프로그램에서 수치 오차를 얼마나 줄일 수 있는가?
• RQ3 A Mathematics of Arrays와 파시 계산법과 같은 형식적 방법이 복잡한 텐서 알고리즘에서 정확성을 얼마나 보장할 수 있는가?
• RQ4 자동화된 텐서 알고리즘 생성은 이질적인 HPC 아키텍처 간의 이식성과 확장성에 어떤 영향을 미치는가?
• RQ5 AI 기반 텐서 계산의 통합은 HPC 소프트웨어의 신뢰성과 유지보수성에 어떤 영향을 미치는가?

주요 결과

• AI에서 유래한 텐서 계산 통합은 공식적 명세와 검증을 통해 기계적으로 증명 가능한 정확성을 가능하게 한다.
• Unum 산술은 계산 요구에 따라 정밀도를 동적으로 조정함으로써 수치 정확성을 크게 향상시킨다.
• 자동화된 텐서 알고리즘 생성은 개발 시간을 단축시키고 HPC 응용 프로그램에서 흔히 발생하는 코딩 오류를 제거한다.
• A Mathematics of Arrays와 파시 계산법의 조합은 확장성 있고, 조합 가능하고, 검증 가능한 텐서 연산을 가능하게 한다.
• 고수준 추상화 덕분에 다양한 하드웨어 플랫폼 간에 이식성과 성능 이식성이 향상되어 HPC 워크로드가 이득을 본다.
• 논문은 AI의 텐서 중심 철학이 다음 세대의 기계적으로 증명 가능한 HPC 소프트웨어의 기반으로 기능할 수 있음을 입증한다.