[논문 리뷰] A Case for Malleable Thread-Level Linear Algebra Libraries: The LU Factorization with Partial Pivoting

Sandra Beltrán Catalán, José R. Herrero외 3명|arXiv (Cornell University)|2016. 11. 19.

Parallel Computing and Optimization Techniques인용 수 5

한 줄 요약

이 논문은 부분 피벗을 사용하는 LU 분해에서 실행 중에 스레드 할당을 동적으로 조정하기 위해 유연한 스레드 수준의 BLAS 라이브러리를 제안한다. 작업 공유(WS)와 조기 종료(ET)를 활용하여 작업 부하를 균형 잡는다. 6코어 인텔 Xeon 시스템에서 런타임 기반 솔루션 대비 낮은 오버헤드로 경쟁 가능한 성능과 동적 블록 크기 조정을 달성한다.

ABSTRACT

We propose two novel techniques for overcoming load-imbalance encountered when implementing so-called look-ahead mechanisms in relevant dense matrix factorizations for the solution of linear systems. Both techniques target the scenario where two thread teams are created/activated during the factorization, with each team in charge of performing an independent task/branch of execution. The first technique promotes worker sharing (WS) between the two tasks, allowing the threads of the task that completes first to be reallocated for use by the costlier task. The second technique allows a fast task to alert the slower task of completion, enforcing the early termination (ET) of the second task, and a smooth transition of the factorization procedure into the next iteration. The two mechanisms are instantiated via a new malleable thread-level implementation of the Basic Linear Algebra Subprograms (BLAS), and their benefits are illustrated via an implementation of the LU factorization with partial pivoting enhanced with look-ahead. Concretely, our experimental results on a six core Intel-Xeon processor show the benefits of combining WS+ET, reporting competitive performance in comparison with a task-parallel runtime-based solution.

연구 동기 및 목표

• 멀티스레드 BLAS 루틴에서 정적 스레드 할당으로 인해 발생하는 조밀한 행렬 분해의 부하 불균형 문제를 해결하기 위해.
• 실행 중에 유휴 스레드를 동적으로 재할당함으로써 부분 피벗을 사용하는 LU 분해에서 성능을 향상시키기 위해.
• 복잡한 런타임에 대한 의존도를 줄이기 위해, 작업 부하 균형을 위해 경량의, 유연한 스레드 수준 메커니즘을 도입하기 위해.
• 현대 다핵 아키텍처에서 유연한 BLAS 프레임워크 내에서 작업 공유(WS)와 조기 종료(ET)의 효과를 평가하기 위해.

제안 방법

• BLAS 커널에 참여하는 스레드 수를 런타임에 따라 조정할 수 있는 BLIS의 유연한 스레드 수준의 구현을 개발한다.
• 완료된 패널 분해 작업에서 스레드를 재할당하여 여전히 실행 중인 트레일링 업데이트 작업에 할당하기 위해 작업 공유(WS)를 구현한다.
• 더 빠른 작업이 완료됨을 신호로 보내고 더 느린 작업을 조기에 종료시켜 다음 반복으로 진행할 수 있도록 조기 종료(ET)를 설계한다.
• 보기의 룩어헤드를 사용한 블록 기반 LU 분해에 WS와 ET를 통합하고, 실행 중에 블록 크기를 동적으로 조정한다.
• 6코어 인텔 Xeon E5-2603 v3에서 실행 트레이스와 성능 측정을 통해 정적 및 OmpSs 기반 솔루션과의 성능을 평가한다.
• 성능, 확장성, 메모리 효율성 측면에서 태스크 병렬 OmpSs 기반 솔루션과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 유연한 BLAS를 통한 동적 스레드 재할당이 부분 피벗을 사용하는 LU 분해에서 부하 균형을 향상시킬 수 있는가?
• RQ2 작업 중 하나가 다른 작업보다 먼저 완료될 경우, 작업 공유(WS)가 유휴 시간을 얼마나 효과적으로 줄이는가?
• RQ3 패널 분해가 트레일링 업데이트보다 더 비용이 많이 들 경우, 조기 종료(ET)가 성능 향상에 얼마나 기여하는가?
• RQ4 복잡한 태스크 병렬 런타임인 OmpSs와 비교했을 때, 유연한 BLAS 접근 방식은 성능과 메모리 프로파일 측면에서 어떻게 비교되는가?
• RQ5 유연한 접근 방식은 실행 중에 알고리즘적 블록 크기를 자동으로 튜닝할 수 있는가? 이는 수동 튜닝의 필요성을 줄이는가?

주요 결과

• 유연한 BLAS 프레임워크 내에서 작업 공유와 조기 종료(WS+ET)의 조합은 6코어 인텔 Xeon 프로세서에서 OmpSs 기반 태스크 병렬 솔루션과 경쟁 가능한 성능을 달성한다.
• 작은 문제 크기에서는 LU ET 변종이 모든 정적 룩어헤드 변종보다 뛰어난 성능을 보이며, 특히 ET를 통한 블록 크기의 동적 조정 덕분이다.
• 고정 블록 크기(b₀ = 192)를 사용할 경우, 유연한 LU ET 변종은 다양한 문제 차원에서 높은 성능을 유지하며, 최적화되지 않은 튜닝에 대한 강건성을 보여준다.
• 반면, OmpSs 기반 솔루션(LU OS)은 최적화되지 않은 블록 크기 선택에 더 뚜렷한 성능 저하를 보이며, 이는 유연한 접근 방식의 동적 적응의 이점을 강조한다.
• 유연한 BLAS 접근 방식은 정적 구현보다 뛰어난 성능을 달성하며, 런타임 기반 대안 대비 상당히 작은 메모리 프로파일을 제공한다.
• 실험 결과는 유연한 스레드 수준 라이브러리가 복잡한 런타임의 오버헤드 없이도 동적 부하 균형을 효과적으로 활용할 수 있음을 보여주며, 향후 다핵 아키텍처에 있어 유망한 방향성을 제시한다.