[論文レビュー] Large Scale Low Power Computing System - Status of Network Design in ExaNeSt and EuroExa Projects

Roberto Ammendola, A. Biagioni+11 more|arXiv (Cornell University)|Apr 11, 2018

Interconnection Networks and Systems参考文献 1被引用数 5

ひとこと要約

本論文は、EU資金支援のExaNeStおよびEuroExaプロジェクトにおいて、エクサスケールHPCシステム向けに設計された低消費電力、FPGAベース、スケーラブルな相互接続ネットワークアーキテクチャ、ExaNetを提示する。Xilinx Zynq UltraScale+ FPGAを基盤として構築されたExaNetは、512バイトパケットにおいて1ホップあたり0.46 μs未満のラテンシと、最大90%の帯域幅効率を達成し、極大規模でエネルギー効率の高いスーパーコンピューティングにおける強力な潜在的可能性を示している。

ABSTRACT

The deployment of the next generation computing platform at ExaFlops scale requires to solve new technological challenges mainly related to the impressive number (up to 10^6) of compute elements required. This impacts on system power consumption, in terms of feasibility and costs, and on system scalability and computing efficiency. In this perspective analysis, exploration and evaluation of technologies characterized by low power, high efficiency and high degree of customization is strongly needed. Among the various European initiative targeting the design of ExaFlops system, ExaNeSt and EuroExa are EU-H2020 funded initiatives leveraging on high end MPSoC FPGAs. Last generation MPSoC FPGAs can be seen as non-mainstream but powerful HPC Exascale enabling components thanks to the integration of embedded multi-core, ARM-based low power CPUs and a huge number of hardware resources usable to co-design application oriented accelerators and to develop a low latency high bandwidth network architecture. In this paper we introduce ExaNet the FPGA-based, scalable, direct network architecture of ExaNeSt system. ExaNet allow us to explore different interconnection topologies, to evaluate advanced routing functions for congestion control and fault tolerance and to design specific hardware components for acceleration of collective operations. After a brief introduction of the motivations and goals of ExaNeSt and EuroExa projects, we will report on the status of network architecture design and its hardware/software testbed adding preliminary bandwidth and latency achievements.

研究の動機と目的

• エクサスケールHPCシステムにおける消費電力とスケーラビリティの増大する課題に対処する。これは最大100 MWの消費電力と最大100万コアの計算コアを必要とすることがある。
• カスタマイズ可能なFPGAを用いて、低消費電力、高スループット、低ラテンシの相互接続ネットワークアーキテクチャを設計する。
• ARMベースのエクサスケールクラススーパーコンピュータでの効率的な通信を実現するため、ネットワークハードウェアとソフトウェアスタックを共同設計する。
• スケーラブルでRDMAベースのネットワークアーキテクチャを開発・検証し、集約操作とフェイルセーフをサポートする。
• ハードウェアテストベッド（KARMA）と初期ベンチマークを通じて、ExaNetアーキテクチャの実現可能性と性能を実証する。

提案手法

• ハイエンドMPSoC FPGA（Xilinx Zynq UltraScale+）を活用し、組み込みARM Cortex-A53プロセッサと再構成可能な論理回路を統合してシステムレベルの統合を実現する。
• ルーティング、フロー制御、集約操作加速のためのカスタムIPブロックを備えたモジュラーで直接接続型のネットワークアーキテクチャとしてExaNetを設計する。
• Trenz FPGAボードを用いたKARMAと呼ばれるハードウェアテストベッドを実装し、ネットワーク性能と消費電力を評価する。
• カーネルドライバを回避しラテンシを最小限に抑えるために、ユーザースペースのメモリマップドI/Oと直接ハードウェアアクセスを採用する。
• 帯域幅とラテンシを測定するために、トラフィックジェネレータ、コンシューマ、パフォーマンスカウンタを備えた自己テストメカニズムを採用する。
• FIFOの深さとバーチャルチャネルに焦点を当て、低消費電力かつ高スループットを実現するため、ネットワーク部品（APErouter、APElink、Auroraトランシーバ）を最適化する。

実験結果

リサーチクエスチョン

• RQ1 FPGAベースの相互接続は、エクサスケールHPCシステムにおいてスケールアップした状態で1μs未満のラテンシと高い帯域幅を達成できるか？
• RQ2 FPGAベースのシステムにおける、インラインおよびインターマルタイルポート数の増加に伴い、カスタムネットワークIPの消費電力はどのように変化するか？
• RQ3 ハードウェア最適化されたユーザースペース通信は、HPCネットワークにおける標準的なカーネルベースI/Oと比較して、どの程度ラテンシを低減できるか？
• RQ4 実際のハードウェア環境下で、小〜中規模パケットサイズにおけるカスタムネットワークIP（ExaNet）の実現可能な帯域幅効率はどの程度か？
• RQ5 アダプティブルーティングと集約操作加速は、極大規模システムにおけるネットワークのスケーラビリティとフェイルセーフ性をどの程度向上できるか？

主な発見

• ExaNetネットワークアーキテクチャは、1ホップの往復ラテンシが約0.46 μsであり、1ホップの通過時間も0.46 μsであるため、ノード間通信が1μs未満であることが示された。
• APErouterの消費電力は0.088 Wであり、そのうち72%がインラインおよびインターマルタイルポートに起因し、ExaNetネットワークIPの消費電力はわずか0.136 Wである。
• APElinkは512バイトパケットサイズで90%の帯域幅効率を達成し、SFP+コネクタの制限により理論的な10 Gbpsの上限に近づいた。
• APErouterは512バイトパケットで76%の効率を達成し、6.25%のプロトコルオーバーヘッドを有するが、同じターゲットへの2つの送信ポートを使用することで、89.5%の効率に向上する。
• KARMAボードの総消費電力（Zynq Ultrascale+を含む）は3.5 Wであり、FPGAが2.822 Wを占めるため、プラットフォーム全体として極めて高いエネルギー効率を示している。
• 結果は、FPGAベースで共同設計された相互接続が、エクサスケールシステムの厳しいラテンシと帯域幅要件を満たしつつ、低消費電力を維持できることを示している。