[논문 리뷰] The QCDOC supercomputer: hardware, software, and performance

P. A. Boyle, Chulwoo Jung외 1명|ArXiv.org|2003. 06. 18.

Particle physics theoretical and experimental studies인용 수 26

한 줄 요약

이 논문은 시스템온어칩 기술을 사용하여 격자 양자 chromodynamics(QCD) 시뮬레이션에 최적화된 대규모 병렬 슈퍼컴퓨터인 QCDOC를 제시한다. 각 노드는 파wrPC 기반의 ASIC를 탑재하고 있으며, 피크 성능은 1 GFlop/s, 이중방향 통신 대역폭은 12 Gbit/s이며, 10,000개 노드에서 50% 이상의 효율성을 달성한다. 이 시스템은 글로벌 합산과 근접 이웃 통신에서 한 단계 높은 성능 향상을 제공하여, QMP를 효율적으로 활용하고 MILC와 같은 생산 수준의 QCD 코드에 대해 높은 확장성을 제공한다.

ABSTRACT

An overview is given of the QCDOC architecture, a massively parallel and highly scalable computer optimized for lattice QCD using system-on-a-chip technology. The heart of a single node is the PowerPC-based QCDOC ASIC, developed in collaboration with IBM Research, with a peak speed of 1 GFlop/s. The nodes communicate via high-speed serial links in a 6-dimensional mesh with nearest-neighbor connections. We find that highly optimized four-dimensional QCD code obtains over 50% efficiency in cycle accurate simulations of QCDOC, even for problems of fixed computational difficulty run on tens of thousands of nodes. We also provide an overview of the QCDOC operating system, which manages and runs QCDOC applications on partitions of variable dimensionality. Finally, the SciDAC activity for QCDOC and the message-passing interface QMP specified as a part of the SciDAC effort are discussed for QCDOC. We explain how to make optimal use of QMP routines on QCDOC in conjunction with existing C and C++ lattice QCD codes, including the publicly available MILC codes.

연구 동기 및 목표

• 격자 QCD 시뮬레이션에 최적화된 확장성 있고 비용 효율적인 슈퍼컴퓨터 아키텍처를 설계하기.
• 대규모 QCD 시뮬레이션에서의 성능 저하 요인, 특히 글로벌 합산과 근접 이웃 통신에서의 성능 저하 문제를 해결하기.
• 수천 개의 노드에서 높은 지속 성능을 달성하기 위해 부동소수점, 메모리, 통신 서브시스템 간의 균형을 맞추기.
• QMP 준수 런타임 환경을 통해 기존 격자 QCD 코드, 특히 MILC의 효율적 이식 및 실행을 지원하기.
• 유연하고 확장 가능한 애플리케이션 배포를 위해 기계를 다차원 메esh로 동적 분할할 수 있도록 하기.

제안 방법

• QCDOC 아키텍처는 시스템온어칩 기술을 사용하여, 파워PC 440 프로세서, 1 GFlop/s FPU, 4 MB 온칩 메모리, 12 Gbit/s 직렬 통신을 하나의 ASIC에 통합한다.
• 노드는 근접 이웃 연결을 통해 6차원 메쉬로 연결되어 있어 QCD의 국소 업데이트 패턴에 최적화된 저지연 통신을 가능하게 한다.
• QCDOC 운영체제는 기계를 다양한 차원성(1D에서 6D까지)을 가진 격자로 동적 분할하여, 기반의 토폴로지로부터 추상화한다.
• 시스템은 QCD의 통신 패턴에 최적화된 MPI 유사 인터페이스인 QMP(QCD 메시지 패싱)를 구현한다.
• 저수준 코드 최적화를 통해 성능을 향상시켰다: 통신 채널 재사용, 함수 호출 오버헤드 제거, 핵심 커널(예: Asqtad 힘 항)에서 L1 캐시 및 레지스터 재사용 활성화.
• ASIC는 IBM 연구소와 공동 설계되었으며, 고대역폭·저지연 데이터 이동을 위해 CoreConnect 버스(PLB, OPB, DCR)를 사용하여 구성 요소 간의 제어를 수행한다.

실험 결과

연구 질문

• RQ1 수천 개의 노드에서 격자 QCD 시뮬레이션에 대해 높은 확장성과 효율성을 달성하기 위해 슈퍼컴퓨터를 어떻게 아키텍처화할 수 있는가?
• RQ2 기존 클러스터 기술 대비 글로벌 합산과 근접 이웃 통신에서 어떤 성능 향상을 달성할 수 있는가?
• RQ3 MILC와 같은 기존 격자 QCD 코드가 QMP 인터페이스를 사용해 QCDOC에서 얼마나 효율적으로 이식되고 최적화될 수 있는가?
• RQ4 Asqtad 힘 항과 같은 QCD 커널에서 부동소수점 유닛을 고도로 활용하기 위해 어떤 저수준 코드 최적화가 필요한가?
• RQ5 QCDOC 운영체제는 다차원 애플리케이션을 위한 기계의 민첩하고 동적 분할을 어떻게 가능하게 하는가?

주요 결과

• QCDOC는 10,000개 노드 규모에서도 대규모 QCD 시뮬레이션에서 50% 이상의 지속 성능 효율을 달성하며, 사이클 정확한 시뮬레이션을 통해 높은 자원 활용도를 보였다.
• 기존 MPP와 비교해 글로벌 합산과 근접 이웃 통신 지연에서 한 단계 높은 성능 향상을 제공한다.
• 코드 최적화 후, 2⁴ 국소 부피에서는 Asqtad 힘 항의 성능이 피크의 3%에서 14%로 향상되었고, 4⁴ 부피에서는 6%에서 20%로 상승하여 성능 향상률이 300~400%에 이르렀다.
• 통신 채널 재사용, 함수 호출 오버헤드 제거, 루프 전개 등의 최적화로 계산 커널 성능이 1.5~1.7배 향상되었다.
• QCDOC에서의 QMP 구현은 근접 이웃 통신에 대해 완료되었으며, MILC 코드의 효율적 실행을 지원하며 성능 수치가 높은 효율성을 입증했다.
• IBM과의 협업으로 제작된 QCDOC ASIC는 1ms당 지속적인 MFlop당 $1의 가격-성능 비율을 달성했으며, 낮은 전력 소모와 높은 신뢰성을 확보했다.