[논문 리뷰] Parallel Implementations of the Jacobi Linear Algebraic Systems Solve

Athanasios Margaris, Stavros Souravlas외 1명|arXiv (Cornell University)|2014. 03. 23.

Parallel Computing and Optimization Techniques참고 문헌 7인용 수 8

한 줄 요약

이 논문은 분산 메모리 아키텍처에서 MPI 메시지 전달 모델을 사용하여 선형 대수 방정식계를 푸는 잰비 반복 방법의 병렬 구현을 제시한다. 다양한 구성에서 속도 향상과 효율성을 평가하여, 클러스터 환경에서 MPICH를 사용한 순차 실행 대비 뚜렷한 성능 향상을 보였다.

ABSTRACT

The objective of this research is to construct parallel implementations of the Jacobi algorithm used for the solution of linear algebraic systems, to measure their speedup with respect to the serial case and to compare each other, regarding their efficiency. The programming paradigm used in this implementation is the message passing model, while, the used MPI implementation is the MPICH implementation of the Argonne National Laboratory.

연구 동기 및 목표

• 메시지 전달을 사용하여 선형 시스템을 푸는 잰비 알고리즘의 병렬 버전을 설계하고 구현하기.
• 병렬 구현의 속도 향상을 순차 버전 대비 측정하기.
• 실행 시간과 확장성 측면에서 다양한 병렬화 전략의 효율성 비교하기.
• MPICH 구현을 사용하여 분산 메모리 클러스터에서의 성능 평가하기.
• 병렬 환경에서 잰비 방법의 실용적 확장성과 로드 밸런싱 특성에 대한 통찰 제공하기.

제안 방법

• 잔비 반복 방법을 MPI(메시지 전달 인터페이스) 프로그래밍 모델을 사용하여 병렬적으로 구현한다.
• 선형 시스템이 여러 프로세서에 분할되며, 각 노드가 반복마다 이웃 노드의 갱신된 값을 사용하여 부분 방정식을 푼다.
• 경계 값 교환과 해 벡터 갱신을 위해 점 대 점 및 집합적 MPI 호출을 사용하여 프로세스 간 통신을 관리한다.
• 메시지 전달을 위해 MPICH 라이브러리를 사용하여 클러스터 아키텍처에서의 이식성과 성능 보장한다.
• 프로세서 간 동기화 오버헤드를 최소화하고 데이터 국소성 최대화를 위한 알고리즘 구조 설계를 한다.
• 실행 시간, 속도 향상, 효율성 측면에서 프로세서 수 변화에 따라 성능 측정한다.

실험 결과

연구 질문

• RQ1 병렬 잰비 구현은 프로세서 수가 증가함에 따라 어떻게 확장되는가?
• RQ2 병렬 잰비 해법은 순차 대비 얼마나 높은 속도 향상을 달성하는가?
• RQ3 다른 데이터 분포 및 통신 패턴은 해법의 효율성에 어떤 영향을 미치는가?
• RQ4 로드 불균형과 통신 오버헤드는 수렴성과 성능에 어떤 영향을 미치는가?
• RQ5 속도 향상 대 비용 비율 측면에서 가장 높은 효율성을 보이는 구성은 무엇인가?

주요 결과

• 병렬 잰비 구현은 상당한 속도 향상을 달성하였으며, 여러 프로세서에서 합리적으로 잘 확장되었다.
• 프로세서 수가 증가함에 따라 속도 향상이 증가했지만, 어느 지점 이후로는 통신 오버헤드가 추가 성능 향상을 제한하기 시작했다.
• 중간 수준의 프로세서 수에서는 효율성이 60% 이상 유지되어 효과적인 로드 밸런싱과 낮은 통신 대 계산 비율을 나타냈다.
• MPICH 기반 클러스터 환경에서의 이식성과 안정성이 뛰어났다.
• 결과는 잰비 방법이 특히 정규 구조를 가진 큰 희소 시스템에 대해 병렬화에 적합함을 확인했다.
• 본 연구는 분산 환경에서 다른 반복 해법 평가를 위한 실용적 기준을 제공한다.