[논문 리뷰] Re-evaluating scaling methods for distributed parallel systems

János Végh|arXiv (Cornell University)|2020. 02. 17.

Distributed and Parallel Computing Systems인용 수 1

한 줄 요약

이 논문은 분산 병렬 시스템에 대한 암달의 법칙을 재평가하며, α를 명령어 수준 병렬성가 아니라 시간 기반으로 병렬화 가능한 부분의 비율로 해석하지 못함으로써 잘못된 확장 예측이 이끌어졌다고 주장한다. 연구는 처리 시간을 기반으로 올바르게 해석할 경우 암달의 법칙이 슈퍼컴퓨터와 클라우드 시스템 전반에서 성능 한계를 정확히 모델링함을 보여주며, AWS, Azure 및 에디슨 슈퍼컴퓨터에서 HPCG 및 HPL 벤치마크를 통한 핵심 검증을 수행한다.

ABSTRACT

The paper explains why Amdahl's Law shall be interpreted specifically for distributed parallel systems and why it generated so many debates, discussions, and abuses. We set up a general model and list many of the terms affecting parallel processing. We scrutinize the validity of neglecting certain terms in different approximations, with special emphasis on the famous scaling laws of parallel processing. We clarify that when using the right interpretation of terms, Amdahl's Law is the governing law of all kinds of parallel processing. Amdahl's Law describes among others the history of supercomputing, the inherent performance limitation of the different kinds of parallel processing and it is the basic Law of the 'modern computing' paradigm, that the computing systems working under extreme computing conditions are desperately needed.

연구 동기 및 목표

• 분산 병렬 시스템에서 암달의 법칙이 널리 오해된 이유를 수정하기 위해.
• α가 명령어 수가 아니라 병렬화 가능한 작업의 시간 비율이어야 한다는 것을 명확히 하기 위해.
• 클라우드 및 슈퍼컴퓨팅 플랫폼에서 실제 HPC 벤치마크를 사용해 암달의 법칙을 검증하기 위해.
• 비정상적인 측정 오차(예: 네트워크 액세스 시간)가 효율성과 α 추정치를 왜곡하는 방식을 보여주기 위해.
• 측정 시 외부 성능 오버헤드를 忽시할 경우 강한 확장 예측이 실패하는 이유를 밝히기 위해.

제안 방법

• α를 총 실행 시간 중 병렬화 가능한 작업에 소요되는 시간 비율로 보는 시간 기반 재해석을 제안한다.
• 강한 확장 및 약한 확장의 유효 영역을 시각화하기 위한 단순화된 모델을 도입한다.
• 클라우드 서비스(AWS, Azure, Rackspace, SoftLayer) 및 슈퍼컴퓨터(에디슨)의 측정된 실행 시간을 사용해 효과적 α 및 효율성을 계산한다.
• 다양한 클라우드 및 슈퍼컴퓨팅 플랫폼에서 HPCG 및 HPL 벤치마크 데이터를 분석해 확장 행동을 평가한다.
• 백프로젝션 기법을 적용해 단일 프로세서 효율성 및 (1−α)를 추정하고 측정 오차를 탐지한다.
• 플랫폼 간 관측된 효율성 및 (1−α) 추세를 비교해 네트워크 및 I/O 오버헤드로 인한 체계적 오류를 식별한다.

실험 결과

연구 질문

• RQ1 왜 암달의 법칙이 분산 병렬 시스템에서 잘못 적용되었으며, α의 정확한 해석은 무엇인가?
• RQ2 측정 오차—특히 클라우드 기반 시스템에서 네트워크 액세스 시간—는 효율성과 α 추정치를 어떻게 왜곡하는가?
• RQ3 암달의 법칙은 실제 HPC 및 클라우드 환경에서 성능 확장을 얼마나 정확하게 예측하는가?
• RQ4 유사한 하드웨어를 가진 다양한 클라우드 플랫폼(예: AWS, Azure F-시리즈)이 비록 유사한 하드웨어를 가졌음에도 불구하고 확장 행동이 다름은 이유는 무엇인가?
• RQ5 진정으로 병렬화 한계인지, 측정 오류로 인한 인위적 성능 저하인지 어떻게 구분할 수 있는가?

주요 결과

• α를 병렬화 가능한 작업의 시간 비율로 정확히 해석할 경우, 암달의 법칙은 슈퍼컴퓨터와 클라우드 시스템 전반에서 성능 한계를 정확히 기술한다.
• 측정 오차—특히 클라우드 벤치마크에서 계산되지 않은 액세스 시간—으로 인해 단일 코어 시스템에서도 효율성이 100% 이하로 떨어지며, 이는 α 추정치를 왜곡한다.
• 백프로젝션된 (1−α) 값은 플랫폼 간 일관되게 단위에 수렴하며, 측정 오차로 인해 α가 인플레이션되지 않았음을 확인한다.
• TOP500 등급 슈퍼컴퓨터의 α 값은 클라우드 격자보다 약 1000배 우수하며, 이는 대규모 프로세서 수에서만 뚜렷한 영향을 미친다.
• α 기반 효율성 순위는 효율성 순위의 역수이며, 서비스 가격과 강하게 상관관계가 있어 α가 시스템 오버헤드의 대체 지표임을 시사한다.
• 클라우드 플랫폼에서 HPCG 벤치마크는 α를 정확히 측정할 경우 액세스 시간을 총 실행 시간에서 제외하면 슈퍼컴퓨터 수준의 성능을 보이며, 그렇지 않으면 그렇지 않다.