[논문 리뷰] A New Interpretation of Amdahl's Law and Geometric Scalability

Neil J. Günther|arXiv (Cornell University)|2002. 10. 17.

Parallel Computing and Optimization Techniques참고 문헌 16인용 수 9

한 줄 요약

이 논문은 대기열 이론을 사용하여 암달의 법칙과 다중처리 인자(MPF) 모델을 재해석한다. 암달의 법칙은 물리적으로 현실적인 버스 모델에서 동기화 대기열에 해당하며, MPF는 응답 시간이 비선형적으로 감소하는 비물리적인 결과를 낳는 코크시안 서버 모델에서 유래한다. 주요 기여는 대규모 다중처리 시스템에서 MPF를 사용하는 것에 대해 경고하는 바이며, 이는 비물리적인 거동 때문이며, 반면 암달의 법칙은 현실적인 시스템 역학 하에서 더 정확하다고 확인한다.

ABSTRACT

The multiprocessor effect refers to the loss of computing cycles due to processing overhead. Amdahl's law and the Multiprocessing Factor (MPF) are two scaling models used in industry and academia for estimating multiprocessor capacity in the presence of this multiprocessor effect. Both models express different laws of diminishing returns. Amdahl's law identifies diminishing processor capacity with a fixed degree of serialization in the workload, while the MPF model treats it as a constant geometric ratio. The utility of both models for performance evaluation stems from the presence of a single parameter that can be determined easily from a small set of benchmark measurements. This utility, however, is marred by a dilemma. The two models produce different results, especially for large processor configurations that are so important for today's applications. The question naturally arises: Which of these two models is the correct one to use? Ignoring this question merely reduces capacity prediction to arbitrary curve-fitting. Removing the dilemma requires a dynamical interpretation of these scaling models. We present a physical interpretation based on queueing theory and show that Amdahl's law corresponds to synchronous queueing in a bus model while the MPF model belongs to a Coxian server model. The latter exhibits unphysical effects such as sublinear response times hence, we caution against its use for large multiprocessor configurations.

연구 동기 및 목표

• 다중처리기 용량 예측을 위한 암달의 법칙과 MPF 모델 간의 오랫동안 지속된 갈등을 해결하기 위해.
• 대기열 이론을 활용해 두 모델의 물리적이고 역학적인 해석을 제공하여 그 타당성과 한계를 평가하기 위해.
• 대규모 구성에서 MPF가 비물리적인 효과—특히 비선형 응답 시간—을 생성하는 이유를 규명하기 위해.
• 동기화 대기열에 기반한 암달의 법칙이 현실적인 다중처리기 확장성 모델링에 MPF보다 더 적합하다고 주장하기 위해.
• 대기열 지연과 일관성 오버헤드를 모두 반영하는 두 개의 파라미터 확장형 암달의 법칙을 제안하기 위해.

제안 방법

• 유한한 요청 수를 가진 수리사 모델에서 암달의 법칙을 동기화 대기열로 모델링하기 위해 대기열 이론을 사용한다.
• MPF 모델을 서비스 분산이 지수분포보다 작은 코크시안 서버를 가진 M/G/1 대기열로 분석한다. 이는 비선형 확장성을 암시한다.
• 처리기 수 증가에 따른 응답 시간과 이용률 행동을 분석하여 두 모델의 물리적 타당성을 비교한다.
• MPF 모델의 기하급수적 시리즈는 모든 단계를 거치는 확률이 감소함을 의미하며, 이는 비물리적인 비선형 응답 시간을 초래한다.
• 대기열 지연(α)과 일관성 오버헤드(β)를 모두 포함하는 두 파라미터 모델 C(α,β,p)를 제안한다. 이 모델은 후퇴형 처리량(C→1/p as p→∞)을 기록할 수 있다.
• β=0일 때 두 파라미터 모델이 암달의 법칙으로 축소됨을 보여, 기존 모델과의 일관성을 확인한다.

실험 결과

연구 질문

• RQ1 왜 암달의 법칙과 MPF 모델은 대규모 다중처리기 구성에서 예측이 다름?
• RQ2 암달의 법칙과 MPF 모델의 거동을 설명하는 데 기여하는 기초적인 대기열 역학은 무엇인가?
• RQ3 MPF 모델은 대규모 다중처리기 시스템에서 물리적으로 현실적인 응답 시간 행동을 보여주는가?
• RQ4 암달의 법칙을 확장함으로써 더 정확하고 물리적으로 타당한 다중처리기 확장성 모델을 유도할 수 있는가?
• RQ5 MPF의 배경이 되는 코크시안 서버 모델은 왜 비물리적인 비선형 응답 시간을 초래하는가?

주요 결과

• 암달의 법칙은 버스 모델에서 버스 및 프로세서 이용률을 명시적으로 반영한 동기화 대기열에 해당하며, 물리적으로 현실적인 해석을 가진다.
• MPF 모델은 모든 단계를 거치는 확률이 감소하는 코크시안 서버 모델에서 유래하며, 이는 비선형 응답 시간을 초래하고, 실제 다중처리기에서는 비물리적인 결과를 낳는다.
• MPF 모델은 잃어버린 작업이 기하급수적 시리즈로 가정함으로써 더 많은 처리기에서 이용률이 감소한다고 보고하지만, 실제로는 오버헤드가 증가하므로 이는 관측된 행동과 모순된다.
• 두 파라미터 모델 C(α,β,p)는 암달의 법칙을 일반화하며, 암달이나 MPF가 기록할 수 없는 후퇴형 처리량(C→1/p as p→∞)을 기록할 수 있다.
• 일관성 오버헤드가 사라질 때(β=0), 두 파라미터 모델은 암달의 법칙으로 축소되며, 이는 기존 모델과의 일관성을 확인한다.
• 논문은 MPF 모델이 비물리적인 비선형 응답 시간 행동을 보이므로 대규모 다중처리기 구성에서는 사용을 경고한다.