[논문 리뷰] Amdahl's and Gustafson-Barsis laws revisited

Andrzej Karbowski|ArXiv.org|2008. 09. 06.

Advanced Queuing Theory Analysis인용 수 5

한 줄 요약

이 논문은 구스타프슨-바르시스 법칙이 애뮬러의 법칙과 경쟁하는 기본적인 대안가 아니라, 처리기 수에 관계없이 순차적 부분의 실행 시간이 일정하다는 가정 하에 그로부터 직접적인 수학적 유도 결과임을 보여준다. 주요 기여는 구스타프슨의 실험에서 관찰된 향상된 스케일업 성능—처리기 수에 비례하여 선형적으로 증가하는 경향—이 문제 크기와 처리기 수가 함께 증가할 경우 애뮬러의 법칙을 적용하면 설명될 수 있음을 입증한 것이다. 이는 병렬 계산 분야에서 오랫동안 암시된 오해를 해결한다.

ABSTRACT

The paper presents a simple derivation of the Gustafson-Barsis law from the Amdahl's law. In the computer literature these two laws describing the speedup limits of parallel applications are derived separately. It is shown, that treating the time of the execution of the sequential part of the application as a constant, in few lines the Gustafson-Barsis law can be obtained from the Amdahl's law and that the popular claim, that Gustafson-Barsis law overthrows Amdahl's law is a mistake.

연구 동기 및 목표

• 병렬 계산 분야에서 종종 경쟁 이론으로 여겨지는 애뮬러의 법칙과 구스타프슨-바르시스 법칙 간의 관계를 명확히 하기 위해.
• 구스타프슨-바르시스 법칙이 애뮬러의 법칙을 초월하거나 무효화한다는 널리 퍼진 믿음을 도전하기 위해.
• 구스타프슨의 실험에서 관찰된 향상된 스케일업 경향이 문제 크기와 처리기 수가 함께 증가할 경우 애뮬러의 법칙으로 설명될 수 있음을 보여주기 위해.
• 순차적 실행 시간이 일정하다는 가정이 애뮬러의 법칙으로부터 구스타프슨-바르시스 법칙을 도출하는 데 충분하며, 추가나 상충되는 가정이 필요하지 않음을 보여주기 위해.

제안 방법

• 처리기 수 p에 관계없이 순차적 실행 시간 T_s(n)가 일정하다는 가정 하에, 애뮬러의 법칙으로부터 구스타프슨-바르시스 법칙을 유도한다.
• 기본으로 사용하는 표준 애뮬러의 공식 S(n,p) = 1 / [β(n,1) + (1−β(n,1))/p]을 기반으로 한다.
• β(n,1)·T(n,1) = β(n,p)·T(n,p)라는 항등식을 적용하여 β(n,1)을 β(n,p)와 시간 비율 T(n,p)/T(n,1)로 표현한다.
• 유도된 식을 대수적으로 정리하여 스케일업 S(n,p)를 고립시키며, S(n,p) = p − (p−1)·β(n,p)의 형태를 얻는다. 이는 구스타프슨-바르시스 공식과 정확히 일치한다.
• 문제 크기 n이 증가함에 따라 β(n,1)의 행동을 분석하여, 순차적 시간이 일정하고 병렬 시간이 n에 따라 증가할 경우 β(n,1) → 0임을 보여준다.
• 이러한 조건 하에서 애뮬러의 스케일업 S(n,p) → p가 성립하며, 이는 구스타프슨이 주장한 선형 스케일업 행동과 일치함을 입증한다.

실험 결과

연구 질문

• RQ1 추가적인 가정 없이도 구스타프슨-바르시스 법칙을 애뮬러의 법칙으로 직접 유도할 수 있는가?
• RQ2 구스타프슨-바르시스 법칙이 애뮬러의 법칙을 초월한다거나 무효화한다는 주장은 논리적으로 타당한가, 아니면 기초 모델을 오해한 것인가?
• RQ3 증가하는 문제 크기와 처리기 수를 가진 실험에서 왜 스케일업이 p에 수렴하는가? 이는 애뮬러의 법칙으로 설명될 수 있는가?
• RQ4 순차적 실행 시간의 일정함이 두 법칙을 조율하는 데 어떤 역할을 하는가?

주요 결과

• 구스타프슨-바르시스 법칙은 처리기 수 p에 관계없이 순차적 실행 시간 T_s(n)가 일정하다는 가정 하에 애뮬러의 법칙으로 수학적으로 유도될 수 있다.
• 구스타프슨-바르시스 법칙이 애뮬러의 법칙을 무효화하거나 대체한다는 일반적인 믿음은 잘못되었으며, 기초 가정을 오해한 결과이다.
• 순차적 시간 T_s(n)가 일정할 경우 문제 크기 n이 증가함에 따라 애뮬러의 법칙에서의 순차 분율 β(n,1)은 n → ∞일 때 0으로 수렴하며, 이에 따라 S(n,p) → p가 된다.
• 구스타프슨의 실험에서 관찰된 선형 스케일업—스케일업이 처리기 수에 수렴하는 경향—은 문제 크기와 처리기 수가 함께 증가할 경우 애뮬러의 법칙으로 완전히 설명될 수 있다.
• 구스타프슨 원래의 수식에서 실행 시간을 1로 정규화하는 것은 필수가 아니며, 불필요한 복잡성을 유도한다. 더 자연스러운 가정인 순차적 시간의 일정함 하에서도 결과는 그대로 성립한다.