[논문 리뷰] The Effect of Communication and Synchronization on Amdahl Law in Multicore Systems

Leonid Yavits, Amir Morad외 1명|arXiv (Cornell University)|2013. 06. 14.

Parallel Computing and Optimization Techniques참고 문헌 22인용 수 6

한 줄 요약

이 논문은 다중코어 시스템에서의 통신 및 동기화 오버헤드를 고려하여 암다울의 법칙을 확장한다. 이는 심지어 병렬화 비율(f)이 높을 때조차도 병렬 속도 향상이 크게 감소함을 보여주며, 코어 간 통신과 동기화가 증가할수록 성능이 떨어지며, 이로 인해 작은 코어 수에서의 실행 또는 순차적 처리가 많은 코어로 확장하는 것보다 더 효율적인 경우가 많다는 것을 밝힌다.

ABSTRACT

This work analyses the effects of sequential-to-parallel synchronization and inter-core communication on multicore performance, speedup and scaling. A modification of Amdahl law is formulated, to reflect the finding that parallel speedup is lower than originally predicted, due to these effects. In applications with high inter-core communication requirements, the workload should be executed on a small number of cores, and applications of high sequential-to-parallel synchronization requirements may better be executed by the sequential core, even when f, the Amdahl fraction of parallelization, is very close to 1. To improve the scalability and performance speedup of a multicore, it is as important to address the synchronization and connectivity intensities of parallel algorithms as their parallelization factor.

연구 동기 및 목표

• 기존 암다울의 법칙을 넘어서 다중코어 성능과 속도 향상에 영향을 주는 통신 및 동기화 오버헤드의 영향을 분석한다.
• 표준 암다울의 법칙이 실제 다중코어 확장성 예측에 한계를 보이는 이유를 규명한다.
• 동기화 및 통신 비용을 핵심 성능 저하 요인으로 포함한 수정된 이론적 모델을 제안한다.
• 고도의 동기화 또는 통신 요구 사항 하에서 최적의 코어 수와 실행 전략을 식별함으로써 애플리케이션 설계를 안내한다.

제안 방법

• 코어 간 통신 및 동기화 오버헤드를 포함한 암다울의 법칙의 수정된 버전을 유도한다.
• 통신 강도 및 동기화 빈도가 실행 시간에 미치는 영향을 정량화하기 위한 새로운 파라미터를 도입한다.
• 코어 수, 병렬화 비율(f), 통신 및 동기화로 인한 성능 저하 간의 관계를 분석한다.
• 이론적 모델링과 분석을 통해 표준 암다울의 법칙과 비교하여 속도 향상 추세를 분석한다.
• 심지어 f가 1에 가까울지라도 과도한 동기화나 통신으로 인해 성능 향상이 이루어지지 않을 수 있음을 입증한다.
• 병렬화와 오버헤드 사이의 트레이드오프를 평가하여, 고오버헤드 환경에서는 작은 코어 수에서의 실행이 큰 코어 수 확장보다 더 우수한 성능을 낼 수 있음을 결론 내린다.

실험 결과

연구 질문

• RQ1 암다울의 법칙에 따르면 통신 및 동기화 오버헤드는 다중코어 시스템에서 예측된 속도 향상에 어떻게 영향을 미치는가?
• RQ2 높은 코어 간 통신이 발생할 경우, 병렬화 비율이 높더라도 다중코어 확장이 비효율적인 조건은 무엇인가?
• RQ3 동기화 및 통신 비용이 높을 경우 순차적 실행이 다중코어 시스템에서 병렬 실행보다 더 효율적인가?
• RQ4 높은 동기화 또는 통신 강도를 가진 애플리케이션에 대해 최적의 코어 수는 얼마인가?
• RQ5 수정된 암다울의 법칙 모델은 실제 다중코어 성능 예측을 어떻게 향상시키는가?

주요 결과

• 수정된 암다울의 법칙은 통신 및 동기화 오버헤드가 심지어 병렬화 비율 f가 1에 가까울 때조차도 속도 향상을 크게 감소시킬 수 있음을 보여준다.
• 높은 코어 간 통신을 가진 애플리케이션은 통신 비용이 코어 수에 따라 증가하므로, 낮은 수의 코어에서 실행하는 것이 가장 좋다.
• 높은 동기화 요구 사항은 다중코어 시스템에서 순차적 실행이 병렬 실행보다 더 효율적인 경우가 있다.
• 병렬 알고리즘의 성능은 그 자체의 병렬화 요인 외에도 동기화 및 연결 강도에 의해 제약을 받는다.
• 이 모델은 확장성이 단지 순차적 코드 부분 때문이 아니라 통신 및 동기화 오버헤드 때문이라는 점을 입증한다.
• 연구는 통신 및 동기화 최적화가 병렬화 최적화만큼 높은 성능을 달성하기 위해 필수적이라는 결론을 내린다.