[논문 리뷰] LIKWID: Lightweight Performance Tools

Jan Treibig, Georg Hager외 1명|2011. 04. 26.

Parallel Computing and Optimization Techniques인용 수 205

한 줄 요약

LIKWID는 x86 다중코어 및 멀티스레드 시스템에서 성능 최적화를 위한 경량이고 오픈소스의 명령줄 툴킷이다. 하드웨어 인식 프로그래밍을 가능하게 하며, 구성도 탐지, 스레드-코어 유사성 제어, 성능 카운터 측정, 마이크로베치마킹을 위한 도구를 제공함으로써, 커널 패치 없이 최소한의 오버헤드로 NUMA 영향과 캐시 국지성 문제를 해결함으로써 애플리케이션 성능을 크게 향상시킨다.

ABSTRACT

Exploiting the performance of today's microprocessors requires intimate knowledge of the microarchitecture as well as an awareness of the ever-growing complexity in thread and cache topology. LIKWID is a set of command line utilities that addresses four key problems: Probing the thread and cache topology of a shared-memory node, enforcing thread-core affinity on a program, measuring performance counter metrics, and microbenchmarking for reliable upper performance bounds. Moreover, it includes a mpirun wrapper allowing for portable thread-core affinity in MPI and hybrid MPI/threaded applications. To demonstrate the capabilities of the tool set we show the influence of thread affinity on performance using the well-known OpenMP STREAM triad benchmark, use hardware counter tools to study the performance of a stencil code, and finally show how to detect bandwidth problems on ccNUMA-based compute nodes.

연구 동기 및 목표

• 과학적 응용 프로그램의 효과적 성능 튜닝을 방해하는 현대의 다중코어, 다중소켓, ccNUMA 아키텍처의 복잡성을 해결한다.
• 심층적인 전문 지식과 시스템 수준의 설정이 필요한 복잡한 성능 툴(예: Intel VTune 또는 OProfile)의 대안으로 단순하고 접근 가능하며 이식 가능한 도구를 제공한다.
• 소스 코드 수정 없이도 컴파일러 및 MPI 라이브러리 간에 호환되는 명령줄 도구를 통해 개발자가 애플리케이션 성능을 최적화할 수 있도록 한다.
• 저수준의 구성도 및 성능 메트릭을 노출시켜 캐시와 메모리 계층 구조를 포함한 하드웨어 자원을 효율적으로 사용할 수 있도록 한다.
• 애플리케이션 성능의 상한선을 설정하고 메모리 대역폭 제한 등의 버팀목을 탐지하기 위해 신뢰할 수 있는 성능 측정 및 마이크로베치마킹을 촉진한다.

제안 방법

• 코어, 캐시, 소켓, NUMA 도메인을 일관되게 지정할 수 있도록 물리적 구성도를 추상화하는 논리적 리소스 번호 체계(예: S0:0, C1, M2)를 사용한다.
• 직접 MSR 액세스를 통해 하드웨어 성능 카운터를 활용하여 CPI, 메모리 대역폭, 원격 메모리 접근 비율 등의 이벤트를 커널 오버헤드 없이 측정한다.
• likwid-pin과 likwid-mpirun을 통한 래퍼 기반 접근 방식을 사용하여 소스 코드 변경 없이도 외부에서 스레드 배치를 제어할 수 있도록 한다.
• 기존 프로그래밍 모델(OpenMP, MPI, 하이브리드 MPI+스레드)과 통합되며, 사용자 수준 및 시스템 수준의 성능 모니터링을 모두 지원한다.
• likwid-bench를 사용하여 스레드 및 메모리 배치를 제어하는 어셈블리 수준의 커널을 빠르게 프로토타이핑하고 저수준 성능 특성을 측정한다.
• 사전 정의된 이벤트 그룹(MEM, NUMA 등)을 지원하여 성능 메트릭 추출을 단순화하고, 원격 메모리 접근 및 대역폭 포화와 같은 문제를 탐지할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 어떻게 응용 프로그램 개발자는 복잡한 다중코어 및 다중소켓 x86 시스템의 스레드 및 캐시 구성도를 효율적으로 탐색하고 이해할 수 있는가?
• RQ2 공유 메모리 응용 프로그램에서 스레드-코어 유사성은 얼마나 성능 향상에 기여하는가, 특히 메모리에 의존하는 워크로드의 경우에 대해?
• RQ3 하드웨어 성능 카운터는 다중스레드 응용 프로그램에서 NUMA 관련 성능 저하를 효과적으로 탐지하고 정량화하는 데 어떻게 활용될 수 있는가?
• RQ4 메모리 배치 전략(예: first touch 대비 인터리빙)은 메모리 대역폭과 전체 응용 프로그램 성능에 어떤 영향을 미치는가?
• RQ5 경량적이고 사용자 友好的한 도구 세트는 커널 수정 없이도 심층적인 전문 지식 없이도 과학 계산 사용자들이 성능 최적화의 장벽을 낮출 수 있는가?

주요 결과

• likwid-pin을 사용해 스레드를 특정 코어에 바인딩함으로써 STREAM triad 벤치마크에서 런타임이 4.72초에서 0.139초로 감소하여 적절한 스레드 유사성의 성능 영향을 입증했다.
• 메모리 복사 벤치마크에서 한 개의 NUMA 도메인에 데이터를 초기화한 경우 원격 메모리 대역폭은 6.9 GB/s에 도달했지만, 양 소켓에 걸쳐 올바른 first touch 배치를 적용한 결과 효과적 대역폭은 23.15 GB/s로 증가했다.
• likwid-pin을 통한 인터리빙 메모리 배치는 13.8 GB/s의 대역폭을 달성하여 단일 도메인 배치보다 성능 향상을 보였지만, 최적의 first-touch 배치에 비해 떨어졌다.
• 성능 카운터 측정 결과, 한 소켓에서 원격 NUMA 노드에 위치한 데이터에 의해 6878.78 MB/s의 원격 메모리 대역폭이 생성된 것으로 확인되어 비현지 메모리 접근의 비용을 명확히 드러냈다.
• likwid-perfctr의 MEM 및 NUMA 성능 그룹은 NUMA 비효율성을 탐지하는 데 기여했으며, 원격 읽기 및 왈기 대역폭 메트릭이 비현지 메모리 접근으로 인한 성능 저하를 명확히 나타냈다.
• 도구 세트는 커널 패치 없이도 다양한 x86 아키텍처와 MPI 구현 간에 높은 이식성과 사용성을 확보했으며, 최소한의 설정 오버헤드를 가졌다.