[논문 리뷰] GPUs for data processing in the MWA

S. M. Ord, L. J. Greenhill외 5명|ArXiv.org|2009. 02. 05.

Distributed and Parallel Computing Systems인용 수 5

한 줄 요약

이 논문은 Murchison Wide-Field Array(MWA)를 위한 GPU 가속 실시간 데이터 처리 시스템을 제안한다. NVIDIA GT200 GPU의 막대한 병렬성과 높은 산술 집약도를 활용하여 20kW 이내의 엄격한 전력 제약 조건에서도 약 10 TFLOPs의 성능를 달성한다. 행렬 연산, FFT, HEALPIX 재샘플링을 포함한 핵심 캘리브레이션 및 이미징 워크로드를 GPU로 이식함으로써 CPU 기반 구현 대비 약 10배 향상된 성능를 확보하여, 원격의 전력 제약 환경에서 고속도 간섭계 데이터의 실시간 처리를 가능하게 한다.

ABSTRACT

The MWA is a next-generation radio interferometer under construction in remote Western Australia. The data rate from the correlator makes storing the raw data infeasible, so the data must be processed in real-time. The processing task is of order ~10 TFLOPS. The remote location of the MWA limits the power that can be allocated to computing. We describe the design and implementation of elements of the MWA real-time data processing system which leverage the computing abilities of modern graphics processing units (GPUs). The matrix algebra and texture mapping capabilities of GPUs are well suited to the majority of tasks involved in real-time calibration and imaging. Considerable performance advantages over a conventional CPU-based reference implementation are obtained.

연구 동기 및 목표

• 저장소 및 오프라인 처리로는 처리가 불가능한 고용량 실시간 데이터를 Murchison Wide-Field Array(MWA)에서 처리하는 도전 과제를 해결한다.
• 단지 20kW의 전력만을 확보할 수 있는 원격의 서던 호주 지역에서의 전력 제약 조건을 극복한다.
• 실시간 캘리브레이션 및 이미징에 필요한 10 TFLOPs-1의 계산 처리량을 에너지 효율적인 하드웨어로 달성한다.
• 호스트와 장치 간의 데이터 이동을 최소화하여 성능을 극대화하는 GPU 기반 실시간 시스템을 개발한다.
• 우주선형 천문학에서 복잡한 반복적 캘리브레이션 및 광역 이미징 작업에 GPU를 사용할 수 있는 가능성을 입증한다.

제안 방법

• CPU-GPU 간 데이터 전송을 최소화하기 위해 캘리브레이션, 이미징, 재샘플링을 모두 GPU에 구현하여 전체 실시간 처리 파이프라인을 GPU에서 실행한다.
• 수백 개의 경량 스레드를 갖춘 GPU의 SIMD 아키텍처를 활용하여 메모리 지연을 숨기고 산술 집약도를 극대화한다.
• 스레드 메모리 요청을 결합하고 데이터 레이아웃을 재구성하여 결합된 액세스를 가능하게 하여 메모리 액세스 패턴을 최적화한다.
• GPU에서 지원되지 않는 원자적 부동소수점 누적 연산을 피하기 위해 CPU 기반의 '산산이 흩어내기'(scatter) 연산을 '수집하기'(gather) 연산으로 대체한다.
• 모든 하늘 영역을 통합 가능한 이미징을 가능하게 하기 위해 다각형 겹침 계산을 포함한 광원 재분배 알고리즘을 사용해 HEALPIX 천체 피크셀화를 구현한다.
• CUDA 커널을 사용하여 4x4 행렬 변환을 수행하여 장치의 편광 보정과 기울기 수직 투영 기반의 FFT 기반 이미징을 수행한다.

실험 결과

연구 질문

• RQ1 GPU는 MWA의 실시간 처리 파이프라인에 요구되는 10 TFLOPs-1의 계산 처리량을 충족할 수 있는 충분한 성능를 제공할 수 있는가?
• RQ2 원격 배치된 현장에서 20kW 전력 예산 내에서 GPU 기반 처리를 효율적으로 구현할 수 있는가?
• RQ3 무선 천문학 데이터 파이프라인에서 메모리 액세스 패턴과 스레드 스케줄링을 어떻게 최적화하여 지연을 숨기고 성능을 극대화할 수 있는가?
• RQ4 CPU 기반 캘리브레이션 및 이미징 코드를 GPU 아키텍처로 이식하기 위해 필요한 알고리즘적 수정은 무엇인가? 특히 원자적 연산이 아닌 경우에 대해.
• RQ5 호스트-장치 간 데이터 이동을 최소화하여 전체 실시간 파이프라인을 GPU에서 실행함으로써 성능 저하 요인을 방지할 수 있는가?

주요 결과

• GPU 기반 시스템은 핵심 처리 작업에 대해 CPU 기반 기준 구현 대비 약 10배의 성능 향상을 달성한다.
• 단일 NVIDIA GT200 GPU는 800 GFLOPs-1의 성능를 제공하여, 600W의 노드 전력 제한 하에서 32개의 노드만으로도 이론적으로 20 TFLOPs-1의 성능를 달성할 수 있다.
• 시스템은 20kW 전력 예산 내에서 운영되어 원격 MWA 현장에 배치하는 데 실현 가능하다.
• 메모리 결합 및 스레드 스케줄링 최적화가 메모리 지연을 숨기고 GPU 성능을 크게 향상시켰다.
• 포트팅 과정에서 CUDA에서 원자적 부동소수점 연산이 없기 때문에 '산산이 흩어내기'(scatter) 연산을 '수집하기'(gather) 연산으로 대체하는 알고리즘적 변경이 필요했다.
• 현재 GPU 파이프라인에서 이미지 재샘플링 단계는 아직 구현되지 않았지만, 다단계 파이프라인이 이미 전체 GPU 가속화의 실현 가능성을 입증하고 있다.