[論文レビュー] Reinventing High Performance Computing: Challenges and Opportunities

Daniel A. Reed, Dennis Gannon+1 more|arXiv (Cornell University)|Mar 4, 2022

Cloud Computing and Resource Management被引用数 29

ひとこと要約

本論文は、クラウド規模のベンダー、半導体の制約、エンドツーエンドの共同設計がHPCをどのように再構築しているかを分析し、最先端システムの設計と導入について根本的な再考を提案する。

ABSTRACT

The world of computing is in rapid transition, now dominated by a world of smartphones and cloud services, with profound implications for the future of advanced scientific computing. Simply put, high-performance computing (HPC) is at an important inflection point. For the last 60 years, the world's fastest supercomputers were almost exclusively produced in the United States on behalf of scientific research in the national laboratories. Change is now in the wind. While costs now stretch the limits of U.S. government funding for advanced computing, Japan and China are now leaders in the bespoke HPC systems funded by government mandates. Meanwhile, the global semiconductor shortage and political battles surrounding fabrication facilities affect everyone. However, another, perhaps even deeper, fundamental change has occurred. The major cloud vendors have invested in global networks of massive scale systems that dwarf today's HPC systems. Driven by the computing demands of AI, these cloud systems are increasingly built using custom semiconductors, reducing the financial leverage of traditional computing vendors. These cloud systems are now breaking barriers in game playing and computer vision, reshaping how we think about the nature of scientific computation. Building the next generation of leading edge HPC systems will require rethinking many fundamentals and historical approaches by embracing end-to-end co-design; custom hardware configurations and packaging; large-scale prototyping, as was common thirty years ago; and collaborative partnerships with the dominant computing ecosystem companies, smartphone, and cloud computing vendors.

研究の動機と目的

• クラウド、半導体、地政学など、HPCを形作る技術的・経済的要因を評価する。
• 従来のHPC設計からエンドツーエンドの共同設計とカスタムパッケージングへの移行を主張する。
• HPCのリーダーシップを維持するための研究機関・産業界・政策への影響を強調する。
• 最先端の科学計算を前進させる将来の方向性と機会を特定する。

提案手法

• Cray-1時代から現代のクラスターおよびエクサスケールの取り組みまでのHPCの歴史的・動向分析。
• 政府、クラウドプロバイダ、ベンダーなど、HPCエコシステムに影響を与える経済・地政学的変化の検討。
• クラウドネイティブなソフトウェアフレームワークとAI主導の要求がHPCソフトウェアスタックを形作る議論。
• デナード・スケーリングの終焉、ムーアの法則の鈍化とパッケージング手法（チップレット）を、将来のHPCの推進力として統合。
• シリコン製造と人材分布に関連する政策・国家戦略上の考慮事項。

実験結果

リサーチクエスチョン

• RQ1 高性能計算の未来を形作る主要な技術的・経済的要因は何か？
• RQ2 クラウドサービスエコシステムとAIワークロードは、HPCの設計・展開・アクセスにどのように影響するか？
• RQ3 半導体の課題とパッケージング（例：チップレット）は将来のHPCを実現するうえでどのような役割を果たすか？
• RQ4 高度計算分野でのリーダーシップを維持するために必要な戦略的方向性と政策行動は何か？

主な発見

• クラウド規模のベンダーとAIワークロードは、従来のベンダーだけよりも、計算基盤とHPCの優先順位に影響を与えている。
• Dennardスケーリングの終焉とムーアの法則の鈍化は、性能向上のためにスケール、共同設計、GPU、およびカスタムアクセラレータへの依存を高める必要がある。
• チップレットパッケージングとEUV/FETの革新は、製造コスト上昇の中で、より高い性能と製造性を実現する現実的な道として浮上している。
• 従来のHPCベンダーは相対的には経済的なプレーヤーが小さく、最先端技術開発には政府投資へ依存する度合いが高まっている。
• 大手民間テック企業やスタートアップへの人材流出が加速しており、学術機関や国家研究所のHPC能力に影響を及ぼしている。
• 伝統的なHPCベンダーを超える新たで広範なエコシステム協力が、次世代の科学計算におけるリーダーシップを維持するために必要である。