[논문 리뷰] A General Theory of Computational Scalability Based on Rational Functions

Neil J. Günther|ArXiv.org|2008. 08. 11.

Parallel Computing and Optimization Techniques참고 문헌 16인용 수 27

한 줄 요약

이 논문은 상태에 따라 서비스 속도가 변하는 마이크로프로세서 수가 유한한 폐쇄형 큐잉 모델에서 유일한 스레드 수에 따른 최대 처리량을 유도함으로써, 계산적 확장성에 대한 통합된 큐이론적 기반을 확립한다. 이 모델에서 유일한 확장성 법칙(USL)—선형 분자와 이차 분모를 가진 유리 함수—는 상태에 따라 서비스 속도가 변하는 기계 수리사 모델의 동시 처리량 한계와 동치임을 증명한다. 주요 기여는 AMDahl의 법칙과 Gustafson의 속도 향상이 이 모델의 특수 케이스임을 보여주는 것으로, 이와 같은 이차 분모를 가진 유리 함수는 실용적인 확장성 행동을 기술하기 위해 필수적이고 동시에 충분함을 입증한다.

ABSTRACT

The universal scalability law of computational capacity is a rational function C_p = P(p)/Q(p) with P(p) a linear polynomial and Q(p) a second-degree polynomial in the number of physical processors p, that has been long used for statistical modeling and prediction of computer system performance. We prove that C_p is equivalent to the synchronous throughput bound for a machine-repairman with state-dependent service rate. Simpler rational functions, such as Amdahl's law and Gustafson speedup, are corollaries of this queue-theoretic bound. C_p is further shown to be both necessary and sufficient for modeling all practical characteristics of computational scalability.

연구 동기 및 목표

• 이전에 기초적인 물리적 근거 없이 존재했던 Amdahl의 법칙과 유일한 확장성 법칙(USL)에 대해 물리적이고 큐이론적인 해석을 제공한다.
• 상태에 따라 서비스 속도가 변하는 유한한 요청 수(여기서는 물리적 프로세서 수 p에 해당)를 가진 폐쇄 큐잉 모델에서 USL 함수가 자연스럽게 동시 처리량 한계로 나타남을 보여준다.
• Amdahl의 법칙과 Gustafson의 속도 향상을 하나의 더 일반적인 큐이론적 모델의 특수 케이스로 통합한다.
• 이차 분모를 가진 유리 함수가 실용적인 모든 계산적 확장성 케이스를 모델링하는 데 필수적이고 동시에 충분함을 증명한다.

제안 방법

• 상태에 따라 서비스 속도가 변하는 기계 수리사 모델의 처리량 한계를 유도하여, 이가 USL 형태와 일치함을 보인다.
• 이전 연구에서 사용된 개방 모델과 대조적으로, 물리적 프로세서 수에 해당하는 유한한 요청 수(p)를 가진 폐쇄 큐잉 모델을 사용한다.
• 이 모델에서 USL 함수가 동시 처리량 한계로 나타남을 입증하여, 이는 최악의 상황에서의 확장성 특성을 나타낸다.
• 특정 매개변수 조합(예: Amdahl의 경우 κ=0, Gustafson의 경우 σ=0)을 설정함으로써 Amdahl의 법칙과 Gustafson의 속도 향상이 이 한계의 특수 케이스임을 증명한다.
• 유리 함수 f(p)=P(p)/Q(p)의 역함수를 직접 구하는 대신, 지연 시간 함수 Tp의 덧셈 성질을 활용하여 비가역성 및 다중값 역함수 문제를 피한다.
• 레마 1을 활용하여 지연 시간 함수를 역으로 구하고, 이에 따른 처리량 스케일링을 유도함으로써 분석적 엄밀성을 확보한다.

실험 결과

연구 질문

• RQ1 유일한 확장성 법칙(USL)은 경험적 피팅으로 간주되는 것이 아니라, 근본적인 큐이론적 모델에서 유도될 수 있는가?
• RQ2 Amdahl의 법칙과 Gustafson의 속도 향상이 특수 케이스로 포함되는 유일한 기반 큐잉 모델이 존재하는가?
• RQ3 왜 이차 분모를 가진 유리 함수가 실용적인 모든 확장성 행동을 모델링하는 데 필수적이고 동시에 충분한가?
• RQ4 USL의 매개변수 σ와 κ는 물리적으로 어떤 의미를 가지며, 큐잉 현상과 어떻게 관련되어 있는가?

주요 결과

• USL 함수는 상태에 따라 서비스 속도가 변하는 기계 수리사 모델의 동시 처리량 한계와 수학적으로 동치이다.
• Amdahl의 법칙과 Gustafson의 속도 향상은 이 더 일반적인 큐이론적 한계의 특수 케이스로 증명되어, 이들의 물리적 기반에 대한 오랫동안 지속된 모호성을 해소한다.
• 이차 분모를 가진 유리 함수는 실용적인 모든 확장성 특성을 모델링하는 데 필수적이고 동시에 충분함을 입증하여, USL의 보편적 적용 가능성을 확인한다.
• 이 모델은 시리얼 분율 σ를 기계가 고장난 상태에 있을 확률로 해석하여 큐이론과 직접적으로 연결한다.
• 처리량 함수를 직접 역으로 구하는 대신 지연 시간 함수 Tp를 사용함으로써, 비가역적인 유리 함수와 다중값 역함수 문제를 피할 수 있다.
• 분석 결과, 동시 실행은 최악의 확장성 상황을 나타내며, 이는 달성 가능한 성능의 하한을 제공한다.