[논문 리뷰] Bidiagonalization with Parallel Tiled Algorithms

Mathieu Faverge, Julien Langou외 2명|arXiv (Cornell University)|2016. 11. 18.

Parallel Computing and Optimization Techniques참고 문헌 35인용 수 3

한 줄 요약

이 논문은 다중코어 및 분산 시스템에서 SVD 계산을 가속화하기 위해 계층적 감소 트리(FlatTS, FlatTT, Greedy, Auto)를 사용하는 타일링된 이중대각선화 알고리즘(BiDiag 및 R-BiDiag)을 제안한다. R-BiDiag에 Greedy 트리를 적용할 경우 특히 높고 가늘게 생긴 행렬에 대해 임계 경로 길이와 성능 면에서 뛰어난 성능을 보이며, Auto 적응형 트리는 다양한 아키텍처와 워크로드에 최적의 확장성을 위한 자가 조정 기능을 제공한다.

ABSTRACT

We consider algorithms for going from a "full" matrix to a condensed "band bidiagonal" form using orthogonal transformations. We use the framework of "algorithms by tiles". Within this framework, we study: (i) the tiled bidiagonalization algorithm BiDiag, which is a tiled version of the standard scalar bidiagonalization algorithm; and (ii) the R-bidiagonalization algorithm R-BiDiag, which is a tiled version of the algorithm which consists in first performing the QR factorization of the initial matrix, then performing the band-bidiagonalization of the R-factor. For both bidiagonalization algorithms BiDiag and R-BiDiag, we use four main types of reduction trees, namely FlatTS, FlatTT, Greedy, and a newly introduced auto-adaptive tree, Auto. We provide a study of critical path lengths for these tiled algorithms, which shows that (i) R-BiDiag has a shorter critical path length than BiDiag for tall and skinny matrices, and (ii) Greedy based schemes are much better than earlier proposed variants with unbounded resources. We provide experiments on a single multicore node, and on a few multicore nodes of a parallel distributed shared-memory system, to show the superiority of the new algorithms on a variety of matrix sizes, matrix shapes and core counts.

연구 동기 및 목표

• 타일링 알고리즘을 사용하여 이중대각선화 단계를 최적화함으로써 대규모 SVD 계산의 성능 저하 문제를 해결한다.
• 이전의 공유 메모리 전용 타일링 이중대각선화의 한계를 극복하기 위해 다중코어 클러스터에서의 병렬 분산 실행을 가능하게 한다.
• 새로운 감소 트리 전략(예: Greedy 및 Auto 적응형 트리)을 도입하여 임계 경로 길이와 확장성을 향상시킨다.
• 다양한 행렬 형태와 코어 수에서 알고리즘 효율성, 통신 오버헤드, 로드 밸런싱 측면에서 BiDiag와 R-BiDiag를 평가하고 비교한다.
• 하드웨어 특성과 워크로드 성질에 맞춰 자동으로 조정되는 자가 조절형 Auto 감소 트리를 개발하여 실질적인 최적의 성능을 달성한다.

제안 방법

• BiDiag(직접 방식) 및 R-BiDiag(입력 행렬의 QR 분해 후 R의 밴드-이중대각선화)를 위한 두 가지 타일링 이중대각선화 알고리즘을 설계한다.
• DPLASMA 프레임워크 내에서 PaRSEC 런타임을 사용해 태스크 기반 병렬 처리를 구현하며, FlatTS, FlatTT, Greedy, Auto의 네 가지 감소 트리 유형을 구현한다.
• 공유 메모리 및 분산 메모리 시스템에서 데이터 국소성 최적화와 통신 감소를 위해 계층적 QR(HQR) 분해를 활용해 감소 트리를 구성한다.
• 성능 히ュ리스틱을 기반으로 동적으로 TS(타일에서 스칼라로) 또는 TT(타일에서 타일로) 커널 간에 전환하는 Auto 적응형 트리를 도입하여 통신량을 최소화하고 로드 밸런싱을 극대화한다.
• 불규칙한 워크로드와 다양한 커널 속도(예: 빠른 TS 대비 느린 TT 커널)를 처리하기 위해 동적 로드 밸런싱 기반의 태스크 기반 스케줄링을 적용한다.
• 실제 세계의 행렬 크기와 형태를 기반으로 단일 노드 및 다중 노드 공유 메모리 시스템에서 알고리즘을 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 다양한 감소 트리 구조(FastTS, FlatTT, Greedy, Auto)가 타일링된 이중대각선화의 임계 경로 길이와 성능에 미치는 영향은 어떠한가?
• RQ2 특히 높고 가늘게 생긴 행렬에 대해 R-BiDiag가 BiDiag에 비해 임계 경로 길이와 확장성 측면에서 어떤 성능 우위를 점유하는가?
• RQ3 자기 적응형 감소 트리(Auto)가 다양한 행렬 형태와 하드웨어 구성에서 고정 트리 전략을 능가할 수 있는가?
• RQ4 제안된 타일링된 이중대각선화에 Greedy 트리를 적용한 경우, 이전 방법(FastTS 등)에 비해 이론적 임계 경로 복잡도 측면에서 어떤가?
• RQ5 기존의 ScaLAPACK 및 Elemental 라이브러리와 비교했을 때, 새로운 구현이 분산 다중코어 시스템에서 얼마나 잘 확장되는가?

주요 결과

• R-BiDiag에 Greedy 트리를 적용한 경우, p ≥ q인 p×q 타일 행렬에 대해 임계 경로 길이가 Θ(q log₂p)에 도달하며, FlatTS 및 FlatTT의 Θ(pq) 복잡도에 비해 뚜렷이 향상된다.
• 높고 가늘게 생긴 행렬(p = Ω(q¹⁺ᵅ), 0 ≤ α < 1)에 대해 R-BiDiagGreedy는 BiDiagGreedy보다 1/(1 + α/2)의 요소로 점점 더 빠른 성능을 보이며, α → 0에 수렴할수록 비율이 1에 가까워진다.
• 실제로 Auto 적응형 트리는 모든 고정 트리 변종보다 뛰어난 성능을 보이며, 25개 노드(600코어)까지 강력한 확장성을 유지한다. 반면 FlatTS는 병렬성 제한으로 10개 노드 이후 포화 상태에 이르게 된다.
• 크기가 (80,000×2,000) 및 (100,000×10,000)인 약한 확장성 테스트에서 Auto는 최대 10 TFlop/s를 기록하며, 노드당 400–475 GFlop/s의 성능을 달성하여 ScaLAPACK 및 Elemental을 능가한다.
• R-BiDiag와 Auto 트리를 사용한 DPLASMA 기반 구현은 ScaLAPACK 및 Elemental보다 더 뛰어난 확장성을 보이며, 이는 HQR 기반의 효율적인 QR 분해와 BiDiag 단계에서의 통신 감소 덕분이다.
• 본 연구는 R-BiDiag가 높은 행렬에 대해 임계 경로 길이 측면에서 더 효율적이며, 특히 자가 조절 태스크 스케줄링과 결합될 경우 분산 환경에서 전체적인 성능 향상에도 기여함을 확인한다.