[논문 리뷰] Infrastructure for Artificial Intelligence, Quantum and High Performance Computing

William Gropp, Sujata Banerjee외 1명|arXiv (Cornell University)|2020. 12. 16.

Computability, Logic, AI Algorithms인용 수 7

한 줄 요약

이 논문은 고성능 컴퓨팅(HPC), 인공지능/기계학습(AI/ML), 그리고 양자 컴퓨팅(QC)을 통합하여 고립된 자원 제약을 극복하는 통합적이고 종합적인 컴퓨팅 인프라를 제안한다. 하이브리드 클라우드, 온프리미스, 그리고 양자 자원을 활용해 이 다양한 컴퓨팅 패러다임 간 상호운용성 있고 조합 가능한 워크플로우를 가능하게 함으로써, 다학제적 연구를 지원하고 복잡한 다단계 계산 워크로드에서 혁신을 가속화한다.

ABSTRACT

High Performance Computing (HPC), Artificial Intelligence (AI)/Machine Learning (ML), and Quantum Computing (QC) and communications offer immense opportunities for innovation and impact on society. Researchers in these areas depend on access to computing infrastructure, but these resources are in short supply and are typically siloed in support of their research communities, making it more difficult to pursue convergent and interdisciplinary research. Such research increasingly depends on complex workflows that require different resources for each stage. This paper argues that a more-holistic approach to computing infrastructure, one that recognizes both the convergence of some capabilities and the complementary capabilities from new computing approaches, be it commercial cloud to Quantum Computing, is needed to support computer science research.

연구 동기 및 목표

• HPC, AI/ML, 그리고 QC 분야에서의 융합 연구를 지원하기 위한 통합 컴퓨팅 자원의 증가하는 수요를 해결한다.
• 다학제적 협업과 복잡한 워크플로우 실행을 방해하는 고립된, 분리된 인프라의 문제를 해결한다.
• 기존 HPC, AI/ML 워크로드, 그리고 새로운 양자 컴퓨팅 플랫폼 간의 원활한 상호운용성을 보장한다.
• 각 컴퓨팅 패러다임의 상호보완적 강점을 활용하는 하이브리드이고 조합 가능한 워크로드의 개발을 지원한다.
• 미래 세대 과학적 및 사회적 컴퓨팅의 요구사항을 충족하기 위해 공동으로 기획된, 공동체 기반의 인프라 전략을 촉진한다.

제안 방법

• HPC, AI/ML, QC를 하나의 생태계 내에서 상호 연결된 구성 요소로 통합하는 종합적 인프라 모델을 제안한다.
• 상용 클라우드 서비스를 온프리미스 HPC 클러스터와 새로운 양자 하드웨어와 통합하여, 탄력적이고 즉각적인 자원 할당을 가능하게 한다.
• 계산 요구사항에 따라 다양한 단계에서 자원을 동적으로 할당하는 조합 가능한 워크플로우 기반 실행 환경을 설계한다.
• 기존 표준과 미들웨어를 활용해 이질적인 시스템 간의 이식성과 상호운용성을 보장한다.
• 다양한 패러다임 간 워크플로우 조합을 단순화하기 위해 API와 오케스트레이션 도구의 사용을 권장한다.
• 이러한 통합 인프라의 개발과 지속 운영을 지원하기 위해 정책 및 자금 지원의 정렬을 촉진한다.

실험 결과

연구 질문

• RQ1 HPC, AI/ML, 그리고 양자 컴퓨팅 자원을 어떻게 하나의 상호운용 가능한 인프라로 통합하여 다학제적 연구를 지원할 수 있는가?
• RQ2 기존 HPC, AI/ML, 그리고 양자 워크로드를 아우르는 효율적이고 조합 가능한 워크플로우를 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ3 이러한 다양한 컴퓨팅 패러다임을 통합하는 데 있어 핵심적인 기술적 및 조직적 장애물은 무엇인가?
• RQ4 기존 HPC와 클라우드 인프라는 어떻게 확장되어 AI 및 양자 워크로드를 통합적으로 지원할 수 있는가?
• RQ5 미래 세대 컴퓨팅을 위한 통합적이고 공동체 기반의 인프라를 지속하기 위해 필요한 거버넌스 및 자금 모델은 무엇인가?

주요 결과

• 고립된, 고립된 자원의 제약을 극복하기 위해 통합 인프라는 필수적이다.
• HPC, AI/ML, 그리고 양자 플랫폼 간의 상호운용성은 다양한 계산 모델을 아우르는 복잡한 다단계 과학적 워크플로우를 가능하게 한다.
• 클라우드, 온프리미스 HPC, 그리고 양자 자원을 조합한 하이브리드 배포 모델이 향후 연구를 위한 가장 탄력적이고 확장 가능한 기반을 제공한다.
• 기존 HPC 스택에 AI/ML 및 양자 워크로드를 통합하기 위해서는 향상된 미들웨어, API, 그리고 오케스트레이션 도구가 필요하다.
• 공동체 전체의 협력과 지속적인 투자가 통합적이고 확장 가능한 인프라 생태계를 구축하고 유지하는 데 핵심적이다.
• 이 논문의 화이트페이퍼 프레임워크는 컴퓨팅 공동체 협회(Computing Community Consortium)에서 국가 인프라 기획 및 정책 개발을 안내하기 위해 채택되었다.