[논문 리뷰] Limitations of performance of Exascale Applications and supercomputers they are running on

János Végh|arXiv (Cornell University)|2018. 08. 16.

Distributed and Parallel Computing Systems인용 수 4

한 줄 요약

이 논문은 70년 전의 바나흐-바르바르-비엔니 방식에 기반한 단일 스레드 프로세서 중심의 바나흐-바르바르-비엔니 컴퓨팅 철학이 초초계산기에서의 본질적 성능 한계를 초래한다는 점을 재해석하여 설명한다. 비병렬화된 작업을 총 계산의 고정 비율로 모델링함으로써, 저자들은 현재 아키텍처에서의 성능 향상의 한계가 불가피하다는 것을 입증하고, 초초계산기 성능 한계를 넘어서기 위해 명시적이고 협력적인 다수의 프로세서 시스템으로의 철학 전환을 제안한다.

ABSTRACT

The paper highlights that the cooperation of the components of the computing systems receives even more focus in the coming age of exascale computing. It discovers that inherent performance limitations exist and identifies the major critical contributions of the performance on many-many processor systems. The extended and reinterpreted simple Amdahl model describes the behavior of the existing supercomputers surprisingly well, and explains some mystical happenings around high-performance computing. It is pointed out that using the present technology and paradigm only marginal development of performance is possible, and that the major obstacle towards higher performance applications is the 70-years old computing paradigm itself. A way to step forward is also suggested

연구 동기 및 목표

• 현재 초초계산기 슈퍼컴퓨터와 그 응용 분야에서의 본질적 성능 한계를 특정하고 분석하는 것.
• 70년 전의 단일 프로세서 컴퓨팅 철학이 의미 있는 성능 향상 달성에 있어 주요 장애물이라는 것을 입증하는 것.
• 기존 바나흐-바르바르-비엔니 모델에서 명시적 협력적인 다수의 프로세서 시스템으로의 전환을 제안하여 본질적 병목 현상을 극복하는 것.
• 벤치마크 행동과 하드웨어 특화 성능 제약 조건을 이해함으로써 초초계산 응용 프로그램을 효율적으로 작성하기 위한 실용적 프레임워크를 제공하는 것.

제안 방법

• 비병렬화된 작업의 비율을 함수로 모델링하여 모든 기여 요소를 하나의 효과적인 비병렬화 구성요소로 간주하는 방식으로, 암달의 법칙을 확장한다.
• 실제 슈퍼컴퓨터 데이터(예: TOP500 순위 및 응용 프로그램 효율성 지표)에 확장된 암달 모델을 적용한다.
• HPL, HPCG, GHP-L 등의 벤치마크 행동을 분석하여, 서로 다른 벤치마크가 시스템 성능의 서로 다른 측면을 측정하는 방식을 보여준다.
• 주요 시스템 구성 요소(예: 메모리, 인터커넥트, OS 오버헤드)의 성능 기여도를 할당하는 반기술적 모델을 도입한다.
• Tianhe-2, Summit, AI Bridging Cloud Infrastructure 등의 실제 슈퍼컴퓨터 사례를 평가하여 모델의 예측 능력을 검증한다.
• Tianhe-2의 노드 수준 클러스터링 성공 사례를 영감으로 삼아, 프로세서 간의 명시적이고 저지연 협력 기반의 새로운 컴퓨팅 철학을 제안한다.

실험 결과

연구 질문

• RQ1 왜 많은 초초계산 응용 프로그램이 현대 슈퍼컴퓨터에서 이론적 최대 성능의 작은 비율에만 도달하는가?
• RQ2 대규모 병렬 시스템에서 성능 스케일링을 제약하는 바나흐-바르바르-비엔니 컴퓨팅 모델의 본질적 한계는 어느 정도인가?
• RQ3 암달의 법칙을 어떻게 재해석하여 소프트웨어 병렬화를 넘어서 현대 슈퍼컴퓨터의 성능 병목 현상을 설명할 수 있는가?
• RQ4 왜 핵심 수가 높은 슈퍼컴퓨터(예: Summit, AI Bridging Cloud)는 매우 낮은 효과적 병렬화 효율을 보이는가?
• RQ5 현재 단일 프로세서 아키텍처에 의해 정해진 성능 한계를 뛰어넘을 수 있는 대체 컴퓨팅 철학은 무엇인가?

주요 결과

• 확장된 암달 모델은 현대 슈퍼컴퓨터에서 관측된 성능 값을 놀랍게 잘 설명한다. 예를 들어, Summit(230만/280만 코어 사용) 및 AI Bridging Cloud Infrastructure(코어 활용률 2.8%)에서의 낮은 응용 효율성도 포함된다.
• 일부 시스템에서의 효과적 비병렬화 비율(αeff)은 매우 낮다. 예를 들어 AI Bridging Cloud Infrastructure의 경우 5.9×10⁻⁵이며, 이는 알고리즘적 제약보다는 프로세서 간 협력 부족 탓이다.
• 단일 프로세서 성능이 높더라도, 클라우드 인프라에 의존하거나 인터커넥트 설계가 열악한 시스템은 고루핑 지연과 비효율적 데이터 공유로 인해 극심한 성능 손실을 겪는다.
• Tianhe-2의 Rmax 및 αHPLeff 벤치마크에서의 지속적 성능은, 노드 수준의 클러스터링과 프로세서 간 명시적 협력이 높은 효율성을 달성하고 상위 순위를 유지하는 데 기여했음을 보여준다.
• 논문은 현재 기술과 바나흐-바르바르-비엔니 철학이 딱딱한 성능 한계를 정의하며, 오직 명시적 협력적인 다수의 프로세서 시스템으로의 철학 전환을 통해 초초계산의 꿈의 한계를 뛰어넘을 수 있다고 결론 내린다.
• 검증된 시뮬레이터를 통해 제안된 새로운 철학은 직접 코어 간 통신을 가능하게 하고 루핑 지연을 줄여, 확장 가능하고 효율적인 초초계산 컴퓨팅을 위한 실현 가능한 길을 제시한다.