[논문 리뷰] Communication Complexity of the Fast Multipole Method and its Algebraic Variants

Rio Yokota, George Turkiyyah외 1명|arXiv (Cornell University)|2014. 06. 08.

Electromagnetic Scattering and Analysis참고 문헌 45인용 수 5

한 줄 요약

이 논문은 히에르아르키컬 분산-공유 메모리 아키텍처에서 빠른 다중극 방법(Fast Multipole Method, FMM) 및 그 대수적 변종인 H-행렬과 HSS의 통신 복잡도를 규명하며, 균일 분포에 대해 3차원에서 𝒪((n/p)^{2/3} + log P)로 스케일링됨을 보이고, 비균일 및 임의의 차원으로 일반화됨을 보여준다. 저자는 저질서 블록 표현이 유한할 경우 대수적 변종이 FMM의 최적 통신 성질을 이어받음을 입증하여 에크사스케일 계산을 효율적으로 가능하게 한다.

ABSTRACT

A combination of hierarchical tree-like data structures and data access patterns from fast multipole methods and hierarchical low-rank approximation of linear operators from H-matrix methods appears to form an algorithmic path forward for efficient implementation of many linear algebraic operations of scientific computing at the exascale. The combination provides asymptotically optimal computational and communication complexity and applicability to large classes of operators that commonly arise in scientific computing applications. A convergence of the mathematical theories of the fast multipole and H-matrix methods has been underway for over a decade. We recap this mathematical unification and describe implementation aspects of a hybrid of these two compelling hierarchical algorithms on hierarchical distributed-shared memory architectures, which are likely to be the first to reach the exascale. We present a new communication complexity estimate for fast multipole methods on such architectures. We also show how the data structures and access patterns of H-matrices for low-rank operators map onto those of fast multipole, leading to an algebraically generalized form of fast multipole that compromises none of its architecturally ideal properties.

연구 동기 및 목표

• 히에르아르키컬 분산-공유 메모리 아키텍처에서 빠른 다중극 방법(Fast Multipole Method, FMM)의 통신 복잡도를 규명하는 것.
• FMM와 H-행렬 방법의 수학적 기초를 통합하여, 히에르아르키컬 저질서 랭크 근사에서의 수렴을 보여주는 것.
• 저질서 블록 표현이 유한할 경우 FMM의 통신 최적성 특성을 대수적 변종인 H-행렬, HSS, RS 등으로 확장하는 것.
• 알고리즘 계층과 하드웨어 계층 간의 불일치를 규명하고 성능을 위한 조정 가능한 블록 크기를 제안하는 것.
• 대수적 FMM에서 블록 대역폭이 유한한 것 이상으로 일반화되지 않은 경우의 열린 과제들, 비동기성, 상수 요소, 일반화 문제를 부각하는 것.

제안 방법

• 균일 분포를 가정하고 최적의 순회를 전제로 하여, 계층적 트리 구조와 데이터 접근 패턴을 사용해 FMM의 통신 복잡도를 유도한다.
• H-행렬의 블록 구조를 FMM의 계층적 데이터 레이아웃과 변환 연산에 매핑하여 동일한 분석을 대수적 변종에 적용한다.
• 저질서 근사에 대해 적합성 조건을 사용하며, 상호작용 클러스터를 분리 거리와 전개 순서에 기반한 블록으로 간주한다.
• 명시적인 그린 함수가 필요 없는 대수적으로 일반화된 FMM(AFM)를 도입하며, 스펙트럼 동치성과 저질서 압축에 의존한다.
• P개의 프로세스에서의 약한 확장성에서의 확장성을 분석하여, O(log P)개의 메시지와 전방위 통신이 없음을 보이며, 동시성과 비동기성을 유지한다.
• GPGPU의 워프 크기와 캐시 계층 구조와 같은 아키텍처 제약 조건을 고려하며, 하드웨어에 맞는 조정 가능한 알고리즘 블록 크기를 제안한다.

실험 결과

연구 질문

• RQ1 비균일 분포 및 임의의 차원에 대해 FMM의 통신 복잡도는 어떻게 되는가?
• RQ2 저질서 블록 표현이 유한할 경우 H-행렬, HSS, RS와 같은 대수적 변종의 통신 복잡도는 FMM와 어떻게 비교되는가?
• RQ3 점근적 통신 복잡도의 상수 요소는 무엇이며, 다른 해법과의 교차점에 어떤 영향을 미치는가?
• RQ4 FMM과 AFM의 통신을 얼마나 비동기적으로 만들 수 있으며, 어떤 프로그래밍 모델에서 가장 효과적인가?
• RQ5 에크사스케일 시스템에서 다수의 메모리 및 계산 단위를 갖는 다수의 계층 메모리와 계산 유닛을 고려할 때, 알고리즘 계층은 어떻게 하드웨어 계층과 일치시켜야 하는가?

주요 결과

• 균일 분포에 대해 3차원에서 FMM의 통신 복잡도는 𝒪((n/p)^{2/3} + log P)이며, α = 2/3이다. 이 경계는 적응형 트리 구조를 사용해 비균일 분포에도 적용 가능하다.
• 저질서 랭크 표현에서 블록 행당 블록 수에 균일한 상한이 존재할 경우, H-행렬, HSS, RS를 포함한 FMM의 대수적 변종에서도 동일한 통신 복잡도가 유지된다.
• 대수적 빠른 다중극 방법(AFM)은 명시적인 그린 함수가 없는 연산자로 FMM을 일반화하며, FMM의 아키텍처적 이점인 낮은 통신량과 높은 동시성 유지한다.
• FMM 및 그 대수적 변종은 전방위 동기화를 피함으로써, 많은 코어를 갖는 분산 메모리 시스템에서 높은 비동기성과 확장성을 달성한다.
• AFM의 주요 성능 저하 요소는 일반 연산자를 저질서 블록으로 압축하는 효율성에 있으며, 통신 또는 계산 복잡도가 아니다.
• 네 가지 주요 열린 문제들이 남아 있다: 블록 대역폭이 유한한 것 이상으로 복잡도를 일반화하는 것, 상수 요소를 정량화하는 것, 실용적인 비동기성 확보, 알고리즘 계층과 아키텍처 계층을 일치시키는 것.