[論文レビュー] Monte Cimone: Paving the Road for the First Generation of RISC-V High-Performance Computers

Andrea Bartolini, Federico Ficarelli+10 more|arXiv (Cornell University)|May 7, 2022

Parallel Computing and Optimization Techniques被引用数 4

ひとこと要約

モンテ・チモーネは、SiFive社の64ビットRISC-V SoC「U740」を基盤として、SLURM、NAS、Spack、ExaMon監視ツールを含む完全なHPCスタックを備えた、初の完全に運用可能なRISC-Vハイパフォーマンスコンピューティング（HPC）クラスタープロトタイプである。本研究では、第一世代のRISC-V HPCシステムが今日の技術で実現可能であることを実証した。HPLおよびSTREAMベンチマークの安定実行が達成され、電力および熱特性の測定が可能となったが、二重精度性能とInfiniBand RDMA対応に制限があることから、今後の改善の余地が残っている。

ABSTRACT

The new open and royalty-free RISC-V ISA is attracting interest across the whole computing continuum, from microcontrollers to supercomputers. High-performance RISC-V processors and accelerators have been announced, but RISC-V-based HPC systems will need a holistic co-design effort, spanning memory, storage hierarchy interconnects and full software stack. In this paper, we describe Monte Cimone, a fully-operational multi-blade computer prototype and hardware-software test-bed based on U740, a double-precision capable multi-core, 64-bit RISC-V SoC. Monte Cimone does not aim to achieve strong floating-point performance, but it was built with the purpose of "priming the pipe" and exploring the challenges of integrating a multi-node RISC-V cluster capable of providing an HPC production stack including interconnect, storage and power monitoring infrastructure on RISC-V hardware. We present the results of our hardware/software integration effort, which demonstrate a remarkable level of software and hardware readiness and maturity - showing that the first generation of RISC-V HPC machines may not be so far in the future.

研究の動機と目的

• 現在の世代のコンponentsを用いて、完全なRISC-VベースのHPCシステムが実現可能であることを示し、RISC-Vのソフトウェア・ハードウェアスタックは生産用途に不適切であるという神話を取り除くこと。
• ジョブスケジューラ、ファイルシステム、コンパイラ、ライブラリ、監視ツールを含む完全なHPCソフトウェアスタックをRISC-Vハードウェア上で統合・検証すること。
• 実際のHPCワークロード下でのU740 SoCおよびクラスタ構成の電力消費および熱的挙動を特定すること。
• マルチブレードRISC-Vシステムにおける、冷却空気の流れの悪さや熱的不安定性（熱暴走）といったハードウェアレベルのボトルネックを同定・是正すること。
• 共同設計と最適化のための生産環境向けテストベッドを整備し、将来のRISC-V HPCシステムの基盤を築くこと。

提案手法

• SiFiveのU740 SoC（RV64GCBコア4コア、16GB DDR4、1TB NVMe、PCIe拡張対応）を搭載した8ノードのマルチブレードRISC-Vクラスタを構築。InfiniBand接続によりノード間を接続。
• Spackを用いて完全なHPCソフトウェアスタックを統合。SLURMジョブスケジューラ、NASファイルシステム、LDAP、コンパイラ、科学計算ライブラリ、HPCベンチマークを含む。
• ExaMon ODA（Open Data Acquisition）フレームワークを導入し、ノード間の電力、温度、システムアクティビティをリアルタイムで監視。
• アイドル状態およびCPU集中的なワークロード下で、1ms解像度のサンプリングを用いてコア、DDR、PCIeサブシステムの電力消費を測定。
• Spackでインストールされたツールチェーンを用いてHPLおよびSTREAMベンチマークを実行し、性能および効率を評価。
• 中央ノードに冷却空気の流れの悪さによる熱暴走が発生したことを特定。これに対して、筐体の垂直間隔を拡大し冷却性能を向上させる改造を実施。

実験結果

リサーチクエスチョン

• RQ1 現在の世代のコンponentsおよびソフトウェアスタックを用いて、完全に運用可能なマルチノードRISC-V HPCクラスタを構築・運用することは可能か？
• RQ2 RISC-Vソフトウェアスタックは、ジョブスケジューリング、ファイルシステム、科学計算を含む実際のHPCワークロードをサポートするほど十分に成熟しているか？
• RQ3 代表的なHPCワークロード下でのU740 SoCおよびクラスタ構成の電力および熱的特性は何か？
• RQ4 熱暴走のようなハードウェアレベルの問題は、初期段階のRISC-V HPCプロトタイプで検出可能で是正可能か？
• RQ5 HPLおよびSTREAMベンチマークにおいて、RISC-V HPCシステムの性能は、現在のトップエンドシステムと比べてどの程度か？

主な発見

• モンテ・チモーネクラスタは、Spackでインストールされたツールチェーンを用いてHPLおよびSTREAMベンチマークの安定実行を達成し、RISC-V HPCソフトウェアスタックの実用的準備が整っていることを実証した。
• U740 SoCのアイドル時の電力消費は4.81Wであった。内訳はコア部が64％（リーク32％、ダイナミックおよびクロックツリー51％）、DDRが13％、PCIe、PLL、IOサブシステムが23％であった。
• CPU集中的なワークロード下では、合計電力が5.935Wに増加し、電力消費が23％増加した。
• HPL実行中にノード7で熱暴走が発生し、1U筐体内の空気の流れの悪さにより107°Cに達した。筐体の改造により冷却性能を向上させることで是正された。
• 筐体改造後、最も発熱するノードの温度は71°Cから39°Cに低下した。これにより、RISC-V HPCシステムにおいて熱管理が極めて重要であり、是正可能であることが確認された。
• InfiniBandネットワークアダプタはシステムで認識されたが、RDMAサポートは未対応であった。これは、今後の作業で解決すべき重要なソフトウェare-ハードウェア統合のギャップを示している。