[논문 리뷰] Monte Cimone: Paving the Road for the First Generation of RISC-V High-Performance Computers

Andrea Bartolini, Federico Ficarelli외 10명|arXiv (Cornell University)|2022. 05. 07.

Parallel Computing and Optimization Techniques인용 수 4

한 줄 요약

모나코 힐은 시파이브의 U740 64비트 RISC-V SoC를 기반으로 한 첫 번째 완전 기능성 RISC-V 고성능 컴퓨팅(HPC) 클러스터 프로토타입으로, SLURM, NAS, 스파크, ExaMon 모니터링을 포함한 완전한 HPC 스택과 함께 하드웨are-소프트웨어 통합을 구현하였다. 이는 첫 번째 세대 RISC-V HPC 시스템이 오늘날에도 실현 가능하다는 것을 증명하며, 이중 정밀도 성능과 InfiniBand RDMA 지원의 한계에도 불구하고 HPL 및 STREAM 벤치마크의 안정적 실행과 측정 가능한 전력 및 열 특성을 입증하였다.

ABSTRACT

The new open and royalty-free RISC-V ISA is attracting interest across the whole computing continuum, from microcontrollers to supercomputers. High-performance RISC-V processors and accelerators have been announced, but RISC-V-based HPC systems will need a holistic co-design effort, spanning memory, storage hierarchy interconnects and full software stack. In this paper, we describe Monte Cimone, a fully-operational multi-blade computer prototype and hardware-software test-bed based on U740, a double-precision capable multi-core, 64-bit RISC-V SoC. Monte Cimone does not aim to achieve strong floating-point performance, but it was built with the purpose of "priming the pipe" and exploring the challenges of integrating a multi-node RISC-V cluster capable of providing an HPC production stack including interconnect, storage and power monitoring infrastructure on RISC-V hardware. We present the results of our hardware/software integration effort, which demonstrate a remarkable level of software and hardware readiness and maturity - showing that the first generation of RISC-V HPC machines may not be so far in the future.

연구 동기 및 목표

• 현재 세대 구성 요소를 사용하여 완전한 RISC-V 기반 HPC 시스템이 실현 가능하다는 것을 입증함으로써, RISC-V 소프트웨어 및 하드웨어 스택이 생산용 HPC 사용에 적합하지 않다는 오해를 해소하는 것.
• RISC-V 하드웨어에서 작업 스케줄러, 파일시스템, 컴파일러, 라이브러리 및 모니터링 도구를 포함한 완전한 HPC 소프트웨어 스택의 통합 및 검증.
• 실제 HPC 워크로드 하에서 U740 SoC 및 클러스터 구성의 전력 소비 및 열 거동 특성 분석.
• 다중 블레이드 RISC-V 시스템에서 발생하는 열 폭주 및 비효율적 공기 순환과 같은 하드웨어 수준의 병목 현상 식별 및 해결.
• 공동 설계 및 최적화를 위한 생산 준비 상태의 테스트 베드를 마련함으로써 향후 RISC-V HPC 시스템의 기초를 다지는 것.

제안 방법

• InfiniBand로 연결된 8개 노드로 구성된 다중 블레이드 RISC-V 클러스터를 구축하였으며, 각 노드는 4개의 RV64GCB 코어를 탑재한 시파이브 U740 SoC, 16GB DDR4, 1TB NVMe, PCIe 확장 기능을 포함하였다.
• 스파크를 사용하여 완전한 HPC 소프트웨어 스택을 통합하였으며, SLURM 작업 스케줄러, NAS 파일시스템, LDAP, 컴파일러, 과학 계산 라이브러리 및 HPC 벤치마크를 포함하였다.
• 노드 간 전력, 온도 및 시스템 활동을 실시간으로 모니터링하기 위해 ExaMon ODA(오픈 데이터 확보) 프레임워크를 구현하였다.
• 비어 있는 상태와 CPU 집중 워크로드 동안 1ms 해상도 샘플링을 사용하여 코어, DDR, PCIe 서브시스템의 전력 소비를 측정하였다.
• 스파크 설치 툴체인을 사용하여 HPL 및 STREAM 벤치마크를 수행하여 성능 및 효율성 평가를 실시하였다.
• 중앙 노드에서 열 불안정성이 발생하여 InfiniBand 네트워크 어댑터가 인식되었으나 RDMA 기능이 작동하지 않았으며, 이는 케이스를 개선하여 수직 간격을 늘리고 냉각 성능을 향상시킴으로써 해결되었다.

실험 결과

연구 질문

• RQ1 현재 세대 구성 요소와 소프트웨어 스택을 사용하여 완전 기능성 다중 노드 RISC-V HPC 클러스터를 구축하고 운영할 수 있는가?
• RQ2 RISC-V 소프트웨어 스택은 작업 스케줄링, 파일시스템, 과학 계산을 포함한 실제 HPC 워크로드를 지원하기에 어느 정도 성숙해졌는가?
• RQ3 대표적인 HPC 워크로드 하에서 U740 SoC 및 클러스터 구성의 전력 및 열 특성은 어떠한가?
• RQ4 열 폭주와 같은 하드웨어 수준의 문제는 초기 단계의 RISC-V HPC 프로토타입에서 감지되고 완화될 수 있는가?
• RQ5 HPL 및 STREAM 벤치마크 기준으로 RISC-V HPC 시스템의 성능은 기존 최상위 수준의 시스템과 비교해 어떻게 되는가?

주요 결과

• 모나코 힐 클러스터는 스파크 설치 툴체인을 사용하여 HPL 및 STREAM 벤치마크의 안정적 실행을 달성하였으며, RISC-V HPC 소프트웨어 스택의 기능적 준비 상태를 입증하였다.
• U740 SoC의 비어 있는 상태 전력 소비는 4.81W로 측정되었으며, 이 중 64%는 코어 전력(누설 32%, 동적 및 클럭 트리 51%)에 기인했고, DDR는 13%, PCIe, PLL 및 I/O 서브시스템은 23%를 차지하였다.
• CPU 집중 워크로드 하에서는 총 전력 소비가 5.935W로 증가하여 전력 소모가 23% 증가함을 확인하였다.
• HPL 실행 중 노드 7에서 열 폭주 현상이 발생하여 1U 케이스 내 공기 순환 부족으로 최고 107°C에 도달하였으며, 케이스를 개선하여 수직 간격을 늘리고 냉각 성능을 향상시킴으로써 해결되었다.
• 케이스 개선 후 가장 뜨거운 노드의 온도는 71°C에서 39°C로 감소하여 열 관리가 RISC-V HPC 시스템에서 핵심적이고 해결 가능하다는 점을 확인하였다.
• InfiniBand 네트워크 어댑터는 시스템에서 인식되었지만, RDMA 지원은 아직 기능하지 않아 향후 작업에서 해결이 필요한 핵심 소프트웨어-하드웨어 통합 격차를 드러내었다.