[논문 리뷰] Better Process Mapping and Sparse Quadratic Assignment

Christian Schulz, Jesper Larsson Träff외 1명|arXiv (Cornell University)|2017. 01. 01.

Interconnection Networks and Systems참고 문헌 26인용 수 5

한 줄 요약

이 논문은 고성능 계산(HPC) 환경에서의 프로세스 매핑을 위한 다수준, 희소 이차할당 문제(QAP) 접근법을 제안한다. 이 방법은 계층적 통신 토폴로지와 희소 통신 패턴을 활용하여, 기존 휴리스틱 기법 대비 최대 56.1% 향상된 해 품질과 더 빠른 수렴 속도를 달성한다. 특히 계층 구조를 고려한 다구역 모델 생성 기법을 사용할 경우 뛰어난 성능을 발휘한다.

ABSTRACT

Communication and topology aware process mapping is a powerful approach to reduce communication time in parallel applications with known communication patterns on large, distributed memory systems. We address the problem as a quadratic assignment problem (QAP), and present algorithms to construct initial mappings of processes to processors, and fast local search algorithms to further improve the mappings. By exploiting assumptions that typically hold for applications and modern supercomputer systems such as sparse communication patterns and hierarchically organized communication systems, we obtain significantly more powerful algorithms for these special QAPs. Our multilevel construction algorithms employ perfectly balanced graph partitioning techniques and exploit the given communication system hierarchy in significant ways. We present improvements to a local search algorithm of Brandfass et al. (2013), and further decrease the running time by reducing the time needed to perform swaps in the assignment as well as by carefully constraining local search neighborhoods. We also investigate different algorithms to create the communication graph that is mapped onto the processor network. Experiments indicate that our algorithms not only dramatically speed up local search, but due to the multilevel approach also find much better solutions in practice.

연구 동기 및 목표

• 분산 메모리 시스템에서 알려진 통신 패턴을 가진 대규모 병렬 응용 프로그램에서 통신 비용을 최소화하는 데 도전하는 것.
• 희소 통신 패턴과 계층적 하드웨어 토폴로지를 활용하여 프로세스 매핑의 효율성과 해 품질을 향상시키는 것.
• 이차할당 문제(QAP)의 경우, 제약된 이웃 공간과 최적화된 스왑 평가를 통해 더 빠른 국소 검색 알고리즘을 개발하는 것.
• 다양한 모델 생성 전략—특히 재귀 이등분과 계층 인식 다구역—이 최종 매핑 품질에 미치는 영향을 조사하는 것.
• 메모리 한계를 초월하는 2^19개 코어를 가진 시스템에서도 스케일러블한 프로세스 매핑을 가능하게 하기 위해 온라인 거리 계산과 희소 행렬 표현을 사용하는 것.

제안 방법

• 통신 행렬 C와 토폴로지 비용 행렬 D를 사용하여 통신량과 프로세서 간 거리를 표현함으로써, 프로세스 매핑을 희소 이차할당 문제(QAP)로 모델링한다.
• 시스템의 물리적 토폴로지 계층을 고려한 완벽하게 균형 잡힌 그래프 분할과 계층적 다구역 알고리즘을 결합한 다수준 프레임워크를 적용한다.
• 통신 그래프 구조를 활용해 스왑 평가 시간을 줄이고 검색 공간을 제약하는 N10 이웃을 갖는 새로운 국소 검색 알고리즘을 도입한다.
• 희소 표현 방식의 통신 행렬과 온라인 거리 계산을 사용하여 주기억 장치 한계를 초월한 확장성을 확보한다.
• 두 가지 모델 생성 전략을 적용: 재귀 이등분(RB)과 계층 인식 다구역(RMS). RMS는 시스템 토폴로지를 통신 그래프 구축 과정에 명시적으로 통합한다.
• KaHIP 그래프 분할 프레임워크 내에서 이 모든 구성 요소를 통합된 파ip라인으로 통합하여 접근법을 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 희소 통신 패턴과 계층적 토폴로지를 활용할 경우, 대규모 HPC 시스템에서 프로세스 매핑의 품질과 효율성이 어떻게 향상되는가?
• RQ2 최적화된 이웃 탐색과 더 빠른 스왑 평가를 통해 국소 검색 성능는 어느 정도 향상될 수 있는가?
• RQ3 모델 생성 알고리즘의 선택—재귀 이등분 대비 계층 인식 다구역—이 프로세스 매핑 파이프라인의 최종 해 품질에 어떤 영향을 미치는가?
• RQ4 전체 거리 행렬이 메모리 용량을 초과할 경우, 온라인 거리 계산을 통해 최대 2^19개 코어를 가진 시스템에서도 스케일러블한 프로세스 매핑이 가능한가?
• RQ5 기본 휴리스틱 기법인 Müller-Merbach 및 Brandfass 등과 비교했을 때, 제안된 다수준 접근법의 상대적 성능 향상은 어느 정도인가?

주요 결과

• 계층 인식 모델 생성(RMS)을 사용한 제안된 TopDown+N10 알고리즘은 재귀 이등분(RB)을 사용한 Müller-Merbach 기준 기준으로 최대 56.1% 향상된 해 품질을 달성한다.
• RMS 기반 모델 생성을 사용한 정체 매핑는 RB를 사용한 Müller-Merbach 대비 51.6% 향상된 해 품질을 보이며, 토폴로지 인식 모델 생성의 강력한 영향을 입증한다.
• N10 이웃을 활용한 국소 검색은 스왑 평가를 최적화하고 검색 공간을 제약함으로써 실행 시간을 크게 단축시켜 더 빠른 수렴을 이끈다.
• 온라인 거리 계산은 최대 2^19개 프로세스를 처리할 수 있도록 해주며, 전체 거리 행렬을 저장하는 데서 오는 메모리 제약을 극복한다.
• 고품질 분할과 토폴로지 인식 모델 생성을 결합한 다수준 구축 방식은 모든 테스트 문제 크기에서 기존 기준 기법 대비 빠른 속도와 높은 해 품질을 지속적으로 확보한다.
• TopDown 초기화와 RMS 기반 모델 생성을 사용한 N10 국소 검색의 조합이 가장 우수한 종합 성능을 보이며, RB를 사용한 Müller-Merbach 대비 54.1% 향상된 성능과 RMS 기반으로 56.1% 향상된 성능을 기록한다.