[논문 리뷰] A figure of merit for describing the performance of scaling of parallelization

János Végh, Péter Molnár외 1명|arXiv (Cornell University)|2016. 06. 08.

Parallel Computing and Optimization Techniques참고 문헌 9인용 수 4

한 줄 요약

이 논문은 측정된 실행 시간과 스레드 수에서 유도된 실험적 성능 지표 αeff를 제안하여 다중 코어 시스템에서 병렬화 성능을 정량화한다. 애머달의 법칙을 역전하고 순차적 오버헤드를 유지보수 및 로드 불균형 포함하도록 재해석함으로써 αeff는 실제 환경에서의 병렬화 효율성을 반영하여 컴파일러, 아키텍처 및 통신 전략 간의 객관적 비교를 가능하게 한다.

ABSTRACT

With the spread of multi- and many-core processors more and more typical task is to re-implement some source code written originally for a single processor to run on more than one cores. Since it is a serious investment, it is important to decide how much efforts pays off, and whether the resulting implementation has as good performability as it could be. The Amdahl's law provides some theoretical upper limits for the performance gain reachable through parallelizing the code, but it needs the detailed architectural knowledge of the program code, does not consider the housekeeping activity needed for parallelization and cannot tell how the actual stage of parallelization implementation performs. The present paper suggests a quantitative measure for that goal. This figure of merit is derived experimentally, from measured running time, and number of threads/cores. It can be used to quantify the used parallelization technology, the connection between the computing units, the acceleration technology under the given conditions, communication method within SoC, or the performance of the software team/compiler.

연구 동기 및 목표

• 유지보수 오버헤드와 비균일한 로드 분포가 무시되는 경우 애머달의 법칙이 실제 병렬화 성능 측정에 한계를 가짐을 해결하기 위해.
• 이론적 속도 향상 이상의 실제 병렬화 효율을 반영하는 실험적으로 유도된 정량적 지표를 개발하기 위해.
• 컴파일러, 하드웨어 아키텍처 및 통신 전략을 포함한 병렬화 기술 간의 객관적 비교를 가능하게 하기 위해.
• 동기화, 로드 불균형 및 프로세서 간 통신과 같은 실용적 요소를 고려한 확장 가능한 성능 지표를 제공하기 위해.

제안 방법

• 측정된 실행 시간과 스레드 수를 사용하여 애머달의 법칙을 역전시켜 αeff를 유도하며, 모든 비병렬화 작업을 효과적인 순차적 분량으로 간주한다.
• 기존의 애머달의 α를 αeff = (k / (k - 1)) * (S⁻¹ - 1) / S⁻¹로 재해석하며, 여기서 S⁻¹은 코어당 속도 향상의 역수이다.
• 다중 코어 및 SoC 시스템에서의 Linpack 벤치마크 및 PSO 기반 최적화에서의 실측 데이터를 활용하여 αeff를 계산한다.
• 다양한 통신 전략(링, 인접, 브로드캐스트)과 하드웨어 플랫폼 간 비교에 이 지표를 적용한다.
• 비효율적 순차적 분량 (1 − αeff)이 동기화 및 로드 불균형 영향을 반영함을 분석한다.
• 다양한 시스템에서 이 지표를 검증하여 코어 수 증가에 따라 관측된 성능 저하와 일관된 상관관계를 보임을 확인한다.

실험 결과

연구 질문

• RQ1 이론적 속도 향상 예측을 넘어서 병렬화 성능를 정량적으로 측정하는 방법은 무엇인가?
• RQ2 유지보수 오버헤드와 로드 불균형은 실제 병렬화 효율성에 얼마나 큰 영향을 미치는가?
• RQ3 αeff는 컴파일러, 아키텍처 또는 통신 전략 간 비교에 신뢰할 수 있는 실험적 지표로 기능할 수 있는가?
• RQ4 다양한 하드웨어 및 소프트웨어 구성에서 코어 수 증가에 따라 효과적 병렬화 비율 αeff는 어떻게 변화하는가?
• RQ5 병렬 응용에서 효과적 순차적 분량 (1 − αeff)을 결정하는 데 통신 전략이 수행하는 역할은 무엇인가?

주요 결과

• αeff는 유지보수 및 로드 불균형을 고려하여 실제 병렬화 성능를 정량화하는 견고한 실험적 성능 지표이다.
• 통신 오버헤드를 최소화할 경우, (1 − αeff)는 다양한 코어 수에서 상대적으로 일정하게 유지되며, 안정적인 효과적 순차적 분량을 나타낸다.
• Linpack 벤치마크에서는 (1 − αeff)가 프로세서 수에 관계없이 측정 오차 범위 내에서 유지되어 일관된 병렬화 효율성을 시사한다.
• PSO 기반 최적화에서 브로드캐스트 통신 전략은 코어 수 증가에 따라 (1 − αeff)를 증가시키며, 이는 증가하는 순차적 오버헤드를 나타낸다. 반면 링 및 인접 전략은 최소한의 증가를 보인다.
• 이 지표는 코어 수 증가에 따라 코어당 속도 향상이 감소하는 경향을 정확히 반영하며, 이는 (1 − αeff)가 성능 지표로 사용될 수 있음을 검증한다.
• αeff는 컴파일러와 아키텍처가 실제로 병렬성을 얼마나 잘 활용하는지에 따라 상당한 차이를 보임을 드러내어 병렬화 기술 간 객관적 비교를 가능하게 한다.