[논문 리뷰] Data-Driven Execution of Fast Multipole Methods

Hatem Ltaief, Rio Yokota|arXiv (Cornell University)|2012. 03. 05.

Parallel Computing and Optimization Techniques참고 문헌 3인용 수 12

한 줄 요약

이 논문은 데이터 기반 실행 모델을 제안하여 빠른 다중극 방법(Fast Multipole Methods, FMM)을 QUARK 런타임 시스템을 사용해 동적이고 비동기적인 작업 스케줄링을 가능하게 한다. 이는 계산 작업의 방향성 비순환 그래프(Directed Acyclic Graph, DAG)를 통해 구현된다. FMM 단계를 세분화된, 데이터에 의존하는 작업으로 나누고, 폭 우선 트리 순회를 통해 작업 부하를 균형 있게 분배함으로써, 16코어 인텔 Xeon 시스템에서 선형 속도 향상을 달성한다. 이는 불규칙하고 적응형 트리 환경에서 정적 로드 밸런싱 전략보다 뛰어난 성능을 보인다.

ABSTRACT

Fast multipole methods have O(N) complexity, are compute bound, and require very little synchronization, which makes them a favorable algorithm on next-generation supercomputers. Their most common application is to accelerate N-body problems, but they can also be used to solve boundary integral equations. When the particle distribution is irregular and the tree structure is adaptive, load-balancing becomes a non-trivial question. A common strategy for load-balancing FMMs is to use the work load from the previous step as weights to statically repartition the next step. The authors discuss in the paper another approach based on data-driven execution to efficiently tackle this challenging load-balancing problem. The core idea consists of breaking the most time-consuming stages of the FMMs into smaller tasks. The algorithm can then be represented as a Directed Acyclic Graph (DAG) where nodes represent tasks, and edges represent dependencies among them. The execution of the algorithm is performed by asynchronously scheduling the tasks using the QUARK runtime environment, in a way such that data dependencies are not violated for numerical correctness purposes. This asynchronous scheduling results in an out-of-order execution. The performance results of the data-driven FMM execution outperform the previous strategy and show linear speedup on a quad-socket quad-core Intel Xeon system.

연구 동기 및 목표

• 불규칙한 입자 분포와 적응형 트리 구조로 인해 발생하는 빠른 다중극 방법(Fast Multipole Methods, FMM)의 로드 불균형 문제를 해결하기 위해.
• 공유 메모리 다중코어 시스템에서 정적 로드 밸런싱을 동적 작업 스케줄링으로 대체하여 FMM의 성능과 확장성을 향상시키기 위해.
• QUARK와 같은 런타임 시스템을 사용한 데이터 기반 실행이 불규칙하고 계산 집약적인 커널에서 높은 성능과 생산성을 달성할 수 있음을 보여주기 위해.
• 작업의 세분화 수준과 큐 크기의 영향을 분석하여 동적 스케줄링 오버헤드와 확장성에 미치는 영향을 평가하기 위해.

제안 방법

• 계산 작업의 노드와 데이터 의존성 간선을 포함한 방향성 비순환 그래프(Directed Acyclic Graph, DAG)로 FMM 알고리즘을 표현하기 위해.
• 이중 트리 구조의 폭 우선 순회를 사용하여 균형 잡힌 크기의 작업 단위를 생성함으로써 보다 우수한 로드 밸런싱을 확보하기 위해.
• QUARK 런타임 시스템을 통한 비동기 작업 스케줄링을 수행하여, 데이터 의존성을 존중하면서도 순서에 구애받지 않는 실행을 가능하게 하기 위해.
• 작업 생성 임계값을 큐 크기(Q)를 설정하여 작업의 세분화 수준을 제어하고 스케줄링 오버헤드를 분산시키기 위해.
• 특히 M2L(다중극에서 국소로) 및 P2P(입자 간 상호작용) 커널과 같은 FMM의 가장 계산 집약적인 단계에 이 방법을 적용하기 위해.
• 확장성과 성능 평가를 위해 전개 순서(p)와 문제 크기(N) 등의 파라미터를 튜닝하기 위해.

실험 결과

연구 질문

• RQ1 불규칙적이고 적응형 트리 구조를 가진 FMM에서 동적 런타임을 사용한 데이터 기반 작업 스케줄링이 로드 밸런싱을 향상시킬 수 있는가?
• RQ2 큐 크기(Q)로 제어되는 작업의 세분화 수준은 FMM 실행의 성능과 확장성에 어떤 영향을 미치는가?
• RQ3 이전 단계의 작업 부하 추정 기반 정적 로드 밸런싱 전략보다 QUARK를 통한 동적 스케줄링이 더 뛰어난 성능을 낼 수 있는가?
• RQ4 동적 작업 스케줄링 오버헤드를 상쇄하기 위해 필요한 최소 문제 크기(N)와 작업 크기 비율(N/Q)는 얼마인가?
• RQ5 공유 메모리 16코어 시스템에서 데이터 기반 FMM 실행을 통해 선형 속도 향상을 달성할 수 있는가?

주요 결과

• p=9, N=10^7, Q=10,000 조건에서 데이터 기반 FMM 구현이 16코어에서 100% 병렬 효율성(선형 속도 향상)을 달성했다.
• 강한 스케일링 결과에 따르면 문제 크기(N)를 증가시킬수록 확장성이 향상되며, 특히 N/Q > 100일 경우 스케줄링 오버헤드가 상쇄된다.
• 불규칙한 트리 구조와 작업 부하 불균형에 동적으로 대응함으로써 정적 로드 밸런싱 전략보다 뛰어난 성능을 보였다.
• 폭 우선 순회를 사용해 작업을 생성함으로써 깊이 우선 순회보다 더 균일한 작업 크기와 높은 데이터 수준 병렬성을 확보했다.
• 높은 전개 순서(p)는 연산 집약도를 높이고, 더 나은 산술 집약도로 약간의 확장성 향상을 가져왔다.
• 실행 추적 결과에서 스레드 간 로드 불균형이 최소화되어 불규칙한 트리 환경에서도 효과적인 동적 로드 분배가 이루어졌음을 확인했다.