[논문 리뷰] DistStat.jl: Towards Unified Programming for High-Performance Statistical Computing Environments in Julia

Seyoon Ko, Hua Zhou외 2명|arXiv (Cornell University)|2020. 10. 30.

Gene expression and cancer classification참고 문헌 42인용 수 4

한 줄 요약

DistStat.jl는 분산 배열 추상화를 통해 CPU 클러스터와 다중 GPU 환경 간에 고성능 통계 계산을 통합하는 줄리아 패키지로, 통계 알고리즘의 투명하고 확장 가능한 실행을 가능하게 한다. 이는 대규모 게놈 분석을 가속화하며, AWS에서 400,000명의 UK Biobank 참가자에 대해 500,000개 변수를 가진 코x 모델을 50분 이내에 피팅함으로써, CPU 기반의 동등한 파이썬 구현보다 20–30% 빠르고, 최적화되지 않은 커널을 사용함에도 GPU 성능을 따라잡는다.

ABSTRACT

The demand for high-performance computing (HPC) is ever-increasing for everyday statistical computing purposes. The downside is that we need to write specialized code for each HPC environment. CPU-level parallelization needs to be explicitly coded for effective use of multiple nodes in cluster supercomputing environments. Acceleration via graphics processing units (GPUs) requires to write kernel code. The Julia software package DistStat.jl implements a data structure for distributed arrays that work on both multi-node CPU clusters and multi-GPU environments transparently. This package paves a way to developing high-performance statistical software in various HPC environments simultaneously. As a demonstration of the transparency and scalability of the package, we provide applications to large-scale nonnegative matrix factorization, multidimensional scaling, and $\ell_1$-regularized Cox proportional hazards model on an 8-GPU workstation and a 720-CPU-core virtual cluster in Amazon Web Services (AWS) cloud. As a case in point, we analyze the on-set of type-2 diabetes from the UK Biobank with 400,000 subjects and 500,000 single nucleotide polymorphisms using the $\ell_1$-regularized Cox proportional hazards model. Fitting a half-million-variate regression model took less than 50 minutes on AWS.

연구 동기 및 목표

• 통계 계산에서 다중 CPU 클러스터와 다중 GPU 시스템과 같은 다양한 고성능 컴퓨팅(HPC) 환경을 위한 별도의 저수준 코드를 작성하는 문제를 해결하기 위해.
• CPU 클러스터, 다중 GPU 워크스테이션, 클라우드 기반 가상 클러스터를 포함한 이질적인 HPC 환경 간의 프로그래밍을 단일 고수준 인터페이스로 통합하기 위해.
• 비음수 행렬 분해, 다차원 척도법, ℓ₁-정규화된 코x 회귀와 같은 널리 사용되는 통계 최적화 알고리즘을 다양한 HPC 플랫폼에서 효율적이고 확장 가능한 방식으로 실행할 수 있도록 하기 위해.
• 줄리아의 다형 다형성과 네이티브 병렬 처리 기능이 기존의 파이썬 기반 HPC 도구보다 통계 워크로드에서 특히 대규모 데이터 처리 시에 뛰어난 성능을 발휘할 수 있음을 입증하기 위해.
• 전체 게놈 연관 연구와 같은 테라-에서 페타바이트 규모의 데이터세트를 통합된 고성능 코드로 분석할 수 있도록 지원하기 위해.

제안 방법

• 패키지는 기반 배열 유형(CPU 배열, CuArrays 등)에 대해 추상화된 분산 배열 데이터 구조를 구현하여, 대상 HPC 환경에 자동으로 적응한다.
• Julia의 다형 다형성과 내장된 벡터화 기능을 활용하여 분산 데이터를 대상으로 요소별 및 선형 대수 연산을 위한 고수준이고 표현력 있는 문법을 제공한다.
• 패키지는 MPI를 기반 통신 계층으로 사용하여, 클라우드 기반 가상 클러스터와 온프레미스 클러스터를 포함한 모든 MPI 지원 환경에서의 이식성을 확보한다.
• 사용자는 코드 변경 없이 설정만으로도 CPU 및 GPU 실행 경로를 투명하게 전환할 수 있다.
• GPU 가속을 위해 CUDA.jl와 통합되어 있으며, ℓ₁-정규화된 회귀에서 행렬-벡터 곱과 같은 계산 집약적인 연산에 CUDA 커널을 사용한다.
• AVX 인트린식을 사용한 CPU에서와 CUDA 커널을 사용한 GPU에서의 메모리 효율적인 커널을 포함하여, 코x 회귀에서 P_{(n+1)}δ 연산과 같은 연산에 최적화된 커널을 제공한다.

실험 결과

연구 질문

• RQ1 일관된 고수준 프로그래밍 인터페이스가 다중 CPU 클러스터와 다중 GPU 시스템을 포함한 이질적인 HPC 환경 간의 통계 계산을 통합할 수 있는가?
• RQ2 Julia 기반 분산 배열 라이브러리의 성능이 기존의 파이썬 기반 HPC 도구보다 통계 최적화 작업에서 어떻게 비교되는가?
• RQ3 통합된 코드베이스가 테라스케일 게놈 데이터세트, 예를 들어 400,000명의 참가자와 500,000개의 SNP를 가진 다변량 생존 모델에서 얼마나 잘 확장 가능한가?
• RQ4 이 abstraction이 통계 알고리즘에 대한 별도의 GPU 및 CPU 코드베이스를 작성하고 유지보수하는 데서 개발자의 부담을 줄일 수 있는가?
• RQ5 MPI와 GPU 가속을 결합한 고수준 언어인 줄리아가 대규모 통계 추론에 대해 성능의 한계가 어디에 있는가?

주요 결과

• 400,000 × 500,000개의 게놈 데이터세트에 대해 ℓ₁-정규화된 코x 비례 위험 모델이 AWS 가상 클러스터(20개 노드, 720개 CPU 코어)에서 50분 이내에 성공적으로 피팅되었다.
• 동일한 분석에서 파이썬 기반 dist_stat 구현보다 CPU에서 20–30% 더 빠른 성능을 기록하였으며, 이는 더 나은 스레드 제어와 줄리아의 융통성 있는 스레딩 모델 덕분이었다.
• 8개 GPU 워크스테이션에서 DistStat.jl는 최적화되지 않은 GPU 커널을 사용함에도 불구하고 dist_stat와 유사한 성능을 달성하여 GPU 가속의 강력한 잠재력을 입증했다.
• 패키지는 기존 연구에 비해 분석 대상 참가자 수를 두 배로 늘린 가장 큰 다변량 생존 모델을 전체 게놈 데이터에서 성공적으로 분석하는 데 기여했다.
• 분산 배열 추상화 덕분에 CPU와 GPU 백엔드 간의 투명한 전환이 최소한의 설정 변경으로 가능해졌으며, 이는 통계 계산에서 통합된 HPC 프로그래밍의 실현 가능성을 입증했다.
• AVX와 CUDA를 활용한 P_{(n+1)}δ에 대한 메모리 효율적인 커널 구현은 특히 CPU 및 GPU 최적화된 선형 대수 연산에서 뚜렷한 성능 향상을 보였다.