[논문 리뷰] Reinventing High Performance Computing: Challenges and Opportunities

Daniel A. Reed, Dennis Gannon외 1명|arXiv (Cornell University)|2022. 03. 04.

Cloud Computing and Resource Management인용 수 29

한 줄 요약

이 논문은 클라우드 규모 벤더, 반도체 제약, 엔드투엔드 공동 설계가 HPC를 재구성하고 있으며, 최첨단 시스템의 설계 및 배치를 근본적으로 재고해야 한다고 주장한다.

ABSTRACT

The world of computing is in rapid transition, now dominated by a world of smartphones and cloud services, with profound implications for the future of advanced scientific computing. Simply put, high-performance computing (HPC) is at an important inflection point. For the last 60 years, the world's fastest supercomputers were almost exclusively produced in the United States on behalf of scientific research in the national laboratories. Change is now in the wind. While costs now stretch the limits of U.S. government funding for advanced computing, Japan and China are now leaders in the bespoke HPC systems funded by government mandates. Meanwhile, the global semiconductor shortage and political battles surrounding fabrication facilities affect everyone. However, another, perhaps even deeper, fundamental change has occurred. The major cloud vendors have invested in global networks of massive scale systems that dwarf today's HPC systems. Driven by the computing demands of AI, these cloud systems are increasingly built using custom semiconductors, reducing the financial leverage of traditional computing vendors. These cloud systems are now breaking barriers in game playing and computer vision, reshaping how we think about the nature of scientific computation. Building the next generation of leading edge HPC systems will require rethinking many fundamentals and historical approaches by embracing end-to-end co-design; custom hardware configurations and packaging; large-scale prototyping, as was common thirty years ago; and collaborative partnerships with the dominant computing ecosystem companies, smartphone, and cloud computing vendors.

연구 동기 및 목표

• 클라우드, 반도체, 지정학 등 HPC를 재편하는 기술적·경제적 요인을 평가한다.
• 전통적 HPC 설계에서 엔드투엔드 공동 설계와 맞춤 패키징으로의 전환을 주장한다.
• 연구기관, 산업계, 정책에 대한 시사점을 강조하여 HPC 리더십을 지속한다.
• 최첨단 과학 컴퓨팅의 발전을 위한 향후 방향과 기회를 식별한다.

제안 방법

• Cray-1 시대부터 현대 클러스터와 엑사스케일 노력에 이르는 HPC의 역사적 분석과 트렌드 분석.
• 정부, 클라우드 공급자, 벤더 등 HPC 생태계에 영향을 주는 경제적·지정학적 변화 분석.
• 클라우드 네이티브 소프트웨어 프레임워크와 AI 주도 수요가 HPC 소프트웨어 스택을 형성하는 방식에 대한 논의.
• Dennard 스케일링 종료, 무어의 법칙 둔화 등 반도체 트렌드와 칩릿(chiplets) 등 패키징 접근 방식을 미래 HPC의 원동력으로 종합.
• 실리콘 제조 및 인재 분포와 관련된 정책 및 국가 전략 고려사항.

실험 결과

연구 질문

• RQ1 고성능 컴퓨팅의 미래를 재편하는 핵심 기술적·경제적 요인은 무엇인가?
• RQ2 클라우드 서비스 생태계와 AI 워크로드가 HPC 설계, 배치 및 접근에 어떤 영향을 미치는가?
• RQ3 반도체 도전과제와 패키징(예: 칩릿)이 미래 HPC를 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 고급 컴퓨팅에서의 리더십을 지속하기 위해 어떤 전략 방향과 정책 조치가 필요합니까?

주요 결과

• 클라우드 규모 벤더와 AI 워크로드가 컴퓨팅 인프라를 재편하고 전통적인 벤더에 비해 HPC 우선순위에 더 큰 영향을 미친다.
• Dennard 스케일링 종료와 무어의 법칙 둔화로 인해 성능 향상을 위해 규모 확장, 공동 설계, GPU 및 맞춤 가속기의 의존도가 증가해야 한다.
• 칩릿 패키징과 EUV/FET 혁신은 rising fabrication costs 속에서 더 높은 성능과 제조 가능성을 위한 실용적 경로로 부상하고 있다.
• 전통적 HPC 벤더는 상대적으로 작은 경제 주체로 남아 있으며 최신 기술 개발이 정부 투자에 점점 더 의존하고 있다.
• 대형 상용 기술 기업과 스타트업으로의 인재 이동이 빨라져 학술 및 국립 연구소의 HPC 역량에 영향을 미치고 있다.
• 전통적 HPC 벤더를 넘어서는 새로운 더 넓은 생태계 협력이 차세대 과학 컴퓨팅에서 리더십을 지속하는 데 필요하다.