[論文レビュー] Extreme Scaling of Supercomputing with Stranded Power: Costs and Capabilities

Fan Yang, Andrew A. Chien|arXiv (Cornell University)|Jul 7, 2016

Distributed and Parallel Computing Systems参考文献 12被引用数 3

ひとこと要約

本論文は、送電網の混雑や間歇的特性のため市場価値がマイナスとなる余剰再生可能電力（ストランドド・パワー）を活用する、ゼロ・カーボン・クラウド（ZCCloud）と呼ばれるスーパーコンピューティングモデルを提案する。風力・太陽光発電所にコンピューティングハードウェアを共同設置することで、送電および冷却コストを排除し、極大スケールのシステムにおいて予算が固定された条件下で、資本費を最大45％削減し、ピークPFLOPSを80％向上させる。

ABSTRACT

Power consumption (supply, heat, cost) and associated carbon emissions (environmental impact) are increasingly critical challenges in scaling supercomputing to Exascale and beyond. We proposes to exploit stranded power, renewable energy that has no value to the power grid, for scaling supercomputers, Zero-Carbon Cloud (ZCCloud), and showing that stranded power can be employed effectively to expand computing [1]. We build on those results with a new analysis of stranded power, characterizing temporal, geographic, and interval properties. We simulate production supercomputing workloads and model datacenter total-cost-of-ownership (TCO), assessing the costs and capabilities of stranded-power based supercomputing. Results show that the ZCCloud approach is cost-effective today in regions with high cost power. The ZCCloud approach reduces TCO by 21-45%, and improves cost-effectiveness up to 34%. We study many scenarios. With higher power price, cheaper computing hardware and higher system power density, benefits rise to 55%, 97% and 116% respectively. Finally, we study future extreme-scale systems, showing that beyond terascale, projected power requirements in excess of 100MW make ZCCloud up to 45% lower cost, for a fixed budget, increase peak PFLOPS achievable by 80%.

研究の動機と目的

• エクサスケールおよびそれ以上のスーパーコンピューティングにおける電力コスト、冷却、炭素排出量の増加という課題に対処すること。
• 市場価値がマイナスとなるストランドド・パワー（再生可能エネルギー）を、大規模スーパーコンピューティングの唯一の電源として使用可能かどうかを検討すること。
• 変動する電力価格、ハードウェアコスト、システムの電力密度を想定した条件下で、ZCCloudのコスト効率およびスケーラビリティを、従来のスーパーコンピューティングセンターと比較して定量的に評価すること。
• 特に予算が固定された条件下で資本費を削減し、計算スループットを向上させるという観点から、ZCCloudの極大スケールシステムへの潜在的利点を評価すること。

提案手法

• 28か月間にわたる7000万件のMISO市場取引データを用いて、ストランドド・パワーの時間的・地理的・インターバル特性を同定する。
• 再生可能エネルギー発電所に共同設置されたZCCloudインフラ上で、生産的HPCワークロードをシミュレートし、生産性と稼働率（最大80％）を評価する。
• 資本費（CapEx）、償却（資本コスト3％、耐用年数5〜12年）、および部品レベルのコスト（サーバー、ネットワーク、SSD、バッテリー、コンテナ、自然冷却）を統合した詳細な総所有コスト（TCO）モデルを構築する。
• 電力価格、ハードウェアコスト、システムの電力密度を変動させた複数のシナリオにおいて、ZCCloudと従来のスーパーコンピューティングセンターを比較する。
• 100MWを超える電力需要を有する極大スケールシステム（テラスケールを超える）をモデル化し、予算が固定された条件下でのコストとパフォーマンスのトレードオフを評価する。
• MISOのストランドド・パワーの歴史的データを活用し、108コアのZCCloudシステムをプロトタイプ化し、風力発電所に78ノード（2500コア）の展開計画を立て、実ワークロードでの検証を計画する。

実験結果

リサーチクエスチョン

• RQ1 市場価値がマイナスとなるストランドド・パワー（再生可能エネルギー）が、十分な稼働率と信頼性を備えた生産的HPCワークロードを支えることができるか？
• RQ2 電力価格やハードウェアコストが変動する条件下で、ZCCloudは従来のスーパーコンピューティングセンターと比較して、総所有コスト（TCO）とコスト効率（ドルあたりのスループット）においてどのように差をつけるか？
• RQ3 特に予算が固定された条件下で、ZCCloudはエクサスケールおよびそれ以上の極大スケールシステムにおいて、コストとパフォーマンスにどのような利点をもたらすか？
• RQ4 ハードウェアの商品化トレンドやシステムの電力密度の上昇が、ZCCloudの相対的利点にどのように影響するか？
• RQ5 ZCCloudは、システムの生産性を維持または向上させつつ、資本費をどれだけ削減し、ピークPFLOPSをどれだけ向上させることができるか？

主な発見

• ベースライン条件の下で、従来のスーパーコンピューティングセンターと比較して、ZCCloudは総資本費を最大45％削減し、コスト効率（ドルあたりのスループット）を最大34％向上させる。
• 電力価格が高い地域では、ZCCloudはコストパフォーマンスが55％優れており、即時の経済的実現可能性を示している。
• ハードウェアコストがベースラインの0.25倍にまで低下した場合、ZCCloudのコスト効率は最大97％向上し、ハードウェアの商品化と強い相乗効果を示している。
• システムの電力密度が5倍に上昇した場合（10年以内に予想）、ZCCloudのコスト効率は116％向上する。これは冷却およびインfra構築コストの削減によるものである。
• 極大スケールシステム（100MW以上）では、予算が固定された条件下でZCCloudが資本費を45％削減し、ピークPFLOPSを80％向上させることができ、画期的な潜在的効果を示している。
• MISOグリッドからのストランドド・パワー（最大80％の稼働率を有する数100MW）のみで、大規模かつ継続的なHPCワークロードを支えることができ、ZCCloudモデルの実現可能性が裏付けられた。