[논문 리뷰] Lattice QCD Calculations on Commodity Clusters at DESY

A. Gellrich, D. Pop외 4명|ArXiv.org|2003. 06. 12.

Advanced Data Storage Technologies참고 문헌 3인용 수 3

한 줄 요약

이 논문은 인텔 펜티엄 4 셰론 프로세서와 마이린에트 인터커넥트를 사용한 일반 소비자용 PC 클러스터의 라티스 QCD 계산에 대한 성능을 평가한다. 특히 월슨-디랙 연산자와 일치 조건을 적용한 경우를 중심으로 하며, 최적화된 SSE2 명령어와 효율적인 MPI 통신을 통해 이들 클러스터가 다수의 테라플롭스 성능을 달성함을 입증한다. 이는 대규모 라티스 양자장 이론 시뮬레이션에 실용적임을 보여준다.

ABSTRACT

Lattice Gauge Theory is an integral part of particle physics that requires high performance computing in the multi-Tflops regime. These requirements are motivated by the rich research program and the physics milestones to be reached by the lattice community. Over the last years the enormous gains in processor performance, memory bandwidth, and external I/O bandwidth for parallel applications have made commodity clusters exploiting PCs or workstations also suitable for large Lattice Gauge Theory applications. For more than one year two clusters have been operated at the two DESY sites in Hamburg and Zeuthen, consisting of 32 resp. 16 dual-CPU PCs, equipped with Intel Pentium 4 Xeon processors. Interconnection of the nodes is done by way of Myrinet. Linux was chosen as the operating system. In the course of the projects benchmark programs for architectural studies were developed. The performance of the Wilson-Dirac Operator (also in an even-odd preconditioned version) as the inner loop of the Lattice QCD (LQCD) algorithms plays the most important role in classifying the hardware basis to be used. Using the SIMD Streaming Extensions (SSE/SSE2) on Intel's Pentium 4 Xeon CPUs give promising results for both the single CPU and the parallel version. The parallel performance, in addition to the CPU power and the memory throughput, is nevertheless strongly influenced by the behavior of hardware components like the PC chip-set and the communication interfaces. The paper covers the physics motivation for using PC clusters as well as a system description, operating experiences, and benchmark results for various hardware.

연구 동기 및 목표

• 대규모 라티스 QCD 시뮬레이션에 요구되는 다수의 테라플롭스 성능을 달성하기 위해 일반 소비자용 PC 클러스터의 실현 가능성을 평가하기 위해.
• 특히 CPU, 메모리 대역폭, 인터커넥트와 같은 하드웨어 구성 요소가 라티스 QCD에서 월슨-디랙 연산자의 성능에 미치는 영향을 평가하기 위해.
• MPI 및 SSE2 최적화를 사용한 클러스터에서 일치 조건을 적용한 디랙 연산자의 성능을 벤치마킹하기 위해.
• 마이린에트, 기가비트 이더넷, 인피니밴드와 같은 다양한 인터커넥트 기술 간의 통신 효율성과 전체 성능을 비교하기 위해.
• 라티스 양자장 이론 분야에서 전용 또는 상용 슈퍼컴퓨터의 대안으로 비용 효율적이고 확장 가능한 PC 클러스터의 사용을 뒷받침하기 위해.

제안 방법

• 데시(함부르크 및 라이프젠)에 위치한 두 대의 PC 클러스터를 구축하고 운영하였으며, 각각 32개 및 16개의 듀얼 CPU 노드를 사용하였고, 인텔 펜티엄 4 셰론 프로세서와 마이린에트 인터커넥트를 사용하였다.
• SSE2 인라인 인트린식을 사용하여 C 언어로 일치 조건을 적용한 월슨-디랙 연산자를 구현하여 CPU의 SIMD 병렬 처리 기능을 최대한 활용하였다.
• 분산 메모리 병렬 처리를 위해 MPI를 사용하였으며, 라티스를 프로세스당 하위 블록으로 일차원적으로 분할하였다.
• 통신 시간과 계산 시간을 별도로 측정하여 노드당 효과적 대역폭과 성능을 계산하였다.
• 기준으로 사용하기 위해 표준 루셔 코드를 벤치마크로 사용하였으며, 일부 캐시 효율성을 희생하여 병렬화를 단순화하기 위해 수정하였다.
• 비차단형 MPI 통신(MPI_Isend/MPI_Irecv/MPI_Wait)을 평가하여 통신과 계산을 겹치는 방식을 적용하였다.

실험 결과

연구 질문

• RQ1 일반 소비자용 PC 클러스터와 표준 구성 요소를 사용하여 대규모 라티스 QCD 시뮬레이션에 필요한 다수의 테라플롭스 성능을 달성할 수 있는가?
• RQ2 SSE2 벡터화와 CPU 수준 최적화는 라티스 QCD에서 월슨-디랙 연산자의 성능에 어떤 영향을 미치는가?
• RQ3 인터커넥트 기술(MyriNET, 기가비트 이더넷, 인피니밴드)이 병렬 라티스 QCD 코드의 전체 성능에 얼마나 큰 영향을 미치는가?
• RQ4 칩셋과 PCI 버스 스루풋의 선택은 라티스 양자장 이론 응용에서 통신 성능에 어떤 영향을 미치는가?
• RQ5 세밀한 통신 패턴을 가진 라티스 QCD 코드에서 비차단형 MPI 통신은 성능 향상에 기여하는가?

주요 결과

• PC 클러스터는 다수의 테라플롭스 성능 수준을 달성하여 일반 소비자용 하드웨어가 라티스 QCD의 요구 수준을 충족시킬 수 있음을 입증하였다.
• 인텔 펜티엄 4 셰론 CPU에서의 SSE2 벡터화는 특히 월슨-디랙 연산자의 내부 루프에서 성능 향상에 크게 기여하였다.
• 통신 성능은 칩셋과 인터커넥트에 크게 의존하였으며, E7500 칩셋과 인피니밴드는 이전 또는 느린 인터페이스보다 훨씬 높은 스루풋을 보였다.
• 비차단형 MPI 통신은 통신과 계산을 겹치는 방식으로 성능 향상을 이끌었으며, 파라스테이션과 같은 최적화된 MPI 구현체를 사용할 경우 尤히 유의미하였다.
• 벤치마크 코드는 1.7GHz 펜티엄 4에서 579 Mflops의 성능를 기록하였으며(루셔 원본 코드의 880 Mflops 대비), 주로 병렬화 단순화로 인한 캐시 재사용 감소로 인한 것이다.
• 데이터 교환에 대한 효과적 대역폭는 96 × L³ / t_comm 바이트/초로 계산되었으며, 성능 스케일링은 통신 시간과 계산 시간에 모두 의존하였다.