[논문 리뷰] Parallelizing Bisection Root-Finding: A Case for Accelerating Serial Algorithms in Multicore Substrates

Mohammad Bakhshalipour, Hamid Sarbazi‐Azad|arXiv (Cornell University)|2018. 05. 11.

Parallel Computing and Optimization Techniques참고 문헌 43인용 수 3

한 줄 요약

이 논문은 다중코어 및 GPU 아키텍처에서 주 스레드보다 앞서 일시적인 계산을 수행하기 위해 여유 스레드를 활용함으로써 본질적으로 순차적인 알고리즘(예: 이분법 루트 찾기)의 실행 속도를 향상시키는 소프트웨어 기반 기법인 Runahead Computing을 제안한다. 이 기법은 스레드 생성 오버헤드를 초월하는 입력 함수의 계산 시간이 존재할 경우, 사전 계산을 통해 실행 지연을 줄임으로써 CPU 및 GPU 플랫폼에서 최대 9배의 성능 향상을 달성한다.

ABSTRACT

Multicore architectures dominate today's processor market. Even though the number of cores and threads are pretty high and continues to grow, inherently serial algorithms do not benefit from the abundance of cores and threads. In this paper, we propose Runahead Computing, a technique which uses idle threads in a multi-threaded architecture for accelerating the execution time of serial algorithms. Through detailed evaluations targeting both CPU and GPU platforms and a specific serial algorithm, our approach reduces the execution latency up to 9x in our experiments.

연구 동기 및 목표

• 다중코어 및 멀티코어 시스템에서 본질적으로 순차적인 알고리즘의 성능 저하 문제를 해결하기 위해, 여전히 많은 수의 여유 스레드가 존재하는 상황에서도 단일 코어만 활용되는 문제를 해결하고자 한다.
• 하드웨어 수정 없이도 여유 스레드를 활용해 단일 스레드 워크로드를 가속화할 수 있는 소프트웨어 기반 기법을 탐색하고자 한다.
• 이론적 사례 연구로 이분법 루트 찾기를 활용하여 Runahead Computing의 성능을 CPU 및 GPU 플랫폼에서 평가하고자 한다.
• 다양한 아키텍처에서 입력 함수의 지연 시간과 스레드 생성 오버헤드에 따른 성능 향상의 민감도를 분석하고자 한다.

제안 방법

• Runahead Computing는 주 스레드보다 앞서 실행할 수 있도록 여유 스레드를 활용해 사전 계산을 수행함으로써, 주 스레드가 동일한 계산 지점에 도달했을 때 실행 시간을 단축시키는 것을 목표로 한다.
• 이 기법은 병렬로 값을 계산하는 여러 스레드를 생성하고, 주 스레드가 나중에 사전 계산된 결과를 사용하여 중복 계산을 생략하는 방식을 취한다.
• 이분법 루트 찾기의 경우, 탐색 구간을 분할하고 여유 스레드를 활용해 사전에 중간 지점의 함수 값을 계산한다.
• 이 접근법은 하드웨어 수정 없이 소프트웨어 수준의 스레드 생성 및 동기화에 의존하므로, 상용 오프더쇼프 프로세서에서도 구현이 가능하다.
• 실행 시간 감소 정도를 측정하여 다양한 스레드 수와 입력 함수 지연 시간에서의 성능을 평가한다.
• 이 방법은 CPU(CMP) 및 GPU 플랫폼 모두에 적용되며, 스레드 생성 및 동기화 오버헤드의 차이가 확장성에 영향을 미친다.

실험 결과

연구 질문

• RQ1 다중코어 및 멀티코어 시스템의 여유 스레드를 하드웨어 수정 없이 본질적으로 순차적인 알고리즘의 가속화에 효과적으로 활용할 수 있는가?
• RQ2 CPU 및 GPU 플랫폼에서 스레드 수가 증가함에 따라 Runahead Computing의 성능 스케일링은 어떻게 변화하는가?
• RQ3 입력 함수의 계산 지연 시간은 Runahead Computing의 효과성에 어떤 영향을 미치는가?
• RQ4 스레드 생성 및 동기화 오버헤드는 특히 CPU와 GPU 환경 간에 성능 향상에 어떤 영향을 미치는가?

주요 결과

• GPU 플랫폼에서 1023개의 스레드를 사용할 경우, Runahead Computing은 실행 시간 감소에 있어 최대 9배의 성능 향상을 달성했으며, 낮은 스레드 생성 오버헤드 덕분에 거의 완벽한 스케일링을 보였다.
• CPU에서는 일곱 개의 스레드를 사용하여 기준 대비 실행 지연을 38%로 줄였으며, 높은 스레드 관리 오버헤드가 존재함에도 불구하고 강력한 확장성을 보였다.
• 입력 함수의 계산 지연 시간이 짧을 경우(예: 테일러 급수 10회 반복), CPU에서 Runahead Computing은 스레드 생성 오버헤드로 인해 최대 86%의 성능 저하를 겪었지만, 지연 시간이 10,000회 이상을 초월할 경우 97%의 성능 향상을 달성했다.
• GPU에서는 낮은 함수 지연(10회 반복) 조건에서도 19%의 성능 향상을 기록했으며, 500회 이상의 반복에서는 이상적 성능 향상의 99%에 도달했다. 이는 낮은 동기화 비용 덕분이었다.
• 이 방법은 CPU에서는 스레드 생성 및 동기화 오버헤드가 확장성의 한계가 되는 반면, GPU의 미세한 다중 스레딩 아키텍처는 거의 이상적인 확장성을 가능하게 한다는 점을 보여주었다.
• 결과적으로 Runahead Computing은 입력 함수의 계산 비용이 스레드 관리 비용을 초월할 경우에 가장 효과적이며, 이는 계산 집약적인 순차 워크로드에 적합하다는 것을 확인했다.