[논문 리뷰] BoxLib with Tiling: An AMR Software Framework

Weiqun Zhang, Ann Almgren외 4명|arXiv (Cornell University)|2016. 04. 12.

Advanced Data Storage Technologies참고 문헌 30인용 수 8

한 줄 요약

이 논문은 블록 구조적 적응 메쉬 리파인먼트(AMR) 프레임워크인 BoxLib에 타일링을 통합하여, 다수의 코어를 가진 NUMA 인식 아키텍처에서 데이터 국소성과 스레드 수준 병렬성을 향상시키는 BoxLib with Tiling를 제안한다. BoxLib의 반복자 시스템에 직접 타일링 구조를 통합함으로써, 응용 프로그램 개발자는 응용 프로그램 코드를 수정하지 않고도 단일 스레드 비타일링 실행 대비 최대 92배의 성능 향상을 달성할 수 있으며, 이는 현대 및 미래의 고성능 계산 시스템에서 효율적인 확장성을 가능하게 한다.

ABSTRACT

In this paper we introduce a block-structured adaptive mesh refinement (AMR) software framework that incorporates tiling, a well-known loop transformation. Because the multiscale, multiphysics codes built in BoxLib are designed to solve complex systems at high resolution, performance on current and next generation architectures is essential. With the expectation of many more cores per node on next generation architectures, the ability to effectively utilize threads within a node is essential, and the current model for parallelization will not be sufficient. We describe a new version of BoxLib in which the tiling constructs are embedded so that BoxLib-based applications can easily realize expected performance gains without extra effort on the part of the application developer. We also discuss a path forward to enable future versions of BoxLib to take advantage of NUMA-aware optimizations using the TiDA portable library.

연구 동기 및 목표

• 차세대 다수의 코어를 지닌 NUMA 아키텍처 시스템에서 AMR 시뮬레이션의 성능 저하 요인을 해결한다.
• 불규칙한 메모리 접근과 높은 캐시 미스 비율로 인해 AMR에서 세분화된 루프 수준 스레딩의 한계를 극복한다.
• 응용 프로그램 수준의 수동 구현이 아닌 BoxLib 프레임워크 내부에 타일링 변환을 통합함으로써 개발자 부담을 줄인다.
• TiDA 이식 가능한 라이브러리와의 통합을 통해 향후 NUMA 인식 최적화를 지원한다.
• 데이터 국소성과 스레드 수준 병렬성을 향상시켜 수백 또는 수천 개의 코어를 가진 시스템에서 성능을 극대화한다.

제안 방법

• BoxLib의 반복자 추상화 내부에 타일링을 제1급 구성요소로 통합하여 수동 루프 수준 스레딩을 대체한다.
• 다차원 타일링을 적용하여 반복 공간을 분할하고 스레드당 작업 세트 크기를 줄여 캐시 활용도를 향상시킨다.
• 세분화된 루프 수준 스레딩 대신 거시적 타일 수준 스레딩을 사용하여 스레드 오버헤드를 줄이고 로드 밸런싱을 향상시킨다.
• 향후 NUMA 인식 최적화를 위해 TiDA 라이브러리를 활용하여 영역 기반 타일링을 가능하게 하며, 데이터와 계산을 로컬 메모리 도메인에 매핑한다.
• 논리적 타일링(데이터 분할)과 영역 기반 타일링(NUMA 인식 메모리 레이아웃)을 모두 허용하는 프레임워크를 설계하여 투명하게 지원한다.
• 강한 확장성 워크로드 하에서 Intel KNC 및 Trestles 시스템에서 SMC 및 기타 BoxLib 기반 코드를 사용하여 성능를 평가한다.

실험 결과

연구 질문

• RQ1 블록 구조적 AMR 프레임워크인 BoxLib에 타일링을 효과적으로 통합하여 다수의 코어 아키텍처에서 성능을 향상시킬 수 있는가?
• RQ2 BoxLib 기반 응용 프로그램에서 세분화된 루프 수준 스레딩을 거시적 타일 수준 스레딩으로 대체할 경우 성능 향상은 어느 정도 달성될 수 있는가?
• RQ3 불규칙한 메모리 접근 패턴을 가진 AMR 시뮬레이션에서 타일링은 데이터 국소성을 얼마나 향상시키고 메모리 대역폭 압박을 줄이는가?
• RQ4 영역 기반 타일링은 향후 코어 수가 많은 시스템에서 NUMA 영향을 완화시킬 수 있는가? 실제로 논리적 타일링과 비교해 볼 때 어떤가?
• RQ5 TiDA 라이브러리의 통합은 응용 프로그램 수준의 변경 없이도 이식 가능하고 NUMA 인식 타일링을 가능하게 하는가?

주요 결과

• SMC 코드의 180스레드 타일링 실행은 단일 스레드 비타일링 실행 대비 92배의 성능 향상을 기록하여 뚜렷한 성능 향상을 입증했다.
• 최적의 타일링 실행은 최적의 비타일링 실행 대비 2.4배 빠르게 작동하여, 동일한 스레드 수에서도 타일링이 성능 향상에 기여함을 확인했다.
• 60코어 Intel KNC 시스템에서 타일링 버전은 1에서 180스레드로 확장되며 86배의 성능 향상을 기록하여 효율적인 확장성을 보였다.
• Trestles에서 8개의 NUMA 도메인을 가진 32코어 환경에서 영역 기반 타일링은 1스레드 대비 32배의 성능 향상을 기록했으며, NUMA 도메인 수가 증가함에 따라 논리적 타일링을 능가했다.
• 영역 기반 타일링은 특정 NUMA 노드에 전체 영역을 할당하여 원격 메모리 접근 지연을 줄였으며, 대역폭 향상과 통신 비용 분할을 개선했다.
• 프로토타입 구현 결과, 복잡한 메모리 계층을 가진 대규모 다수의 코어 시스템에서 NUMA 인식 타일링이 성능 저하를 크게 감소시킬 수 있음을 입증했다.