[논문 리뷰] Mechanism to Mitigate AVX-Induced Frequency Reduction

Mathias Gottschlag, Frank Bellosa|arXiv (Cornell University)|2018. 12. 20.

Cardiac Arrhythmias and Treatments참고 문헌 14인용 수 4

한 줄 요약

이 논문은 소프트웨어 기반 코어 전문화 메커니즘을 제안하여 인텔 CPU에서 AVX로 인한 주파수 감소 문제를 완화한다. 넓은 벡터 명령어(AVX2/AVX-512)의 실행을 코어의 일부로 제한함으로써 주파수 감속 현상을 국소화한다. 스케줄러 인터페이스를 통한 스레드 이동 기능을 활용해, 응용 프로그램 수준의 변경 없이도 성능 변동성을 70% 이상 감소시킨다.

ABSTRACT

Modern Intel CPUs reduce their frequency when executing wide vector operations (AVX2 and AVX-512 instructions), as these instructions increase power consumption. The frequency is only increased again two milliseconds after the last code section containing such instructions has been executed in order to prevent excessive numbers of frequency changes. Due to this delay, intermittent use of wide vector operations can slow down the rest of the system significantly. For example, previous work has shown the performance of web servers to be reduced by up to 10% if the SSL library uses AVX-512 vector instructions. These performance variations are hard to predict during software development as the performance impact of vectorization depends on the specific workload. We describe a mechanism to reduce the slowdown caused by wide vector instructions without requiring extensive changes to existing software. Our design allows the developer to mark problematic AVX code regions. The scheduler then restricts execution of this code to a subset of the cores so that only these cores' frequency is affected. Threads are automatically migrated to a suitable core whenever necessary. We identify a suitable load balancing policy to ensure good utilization of all available cores. Our approach is able to reduce the performance variability caused by AVX2 and AVX-512 instructions by over 70%.

연구 동기 및 목표

• 인텔 CPU에서 AVX2/AVX-512 명령어로 인한 주파수 스케일링으로 인해 발생하는 이질적 워크로드에서의 성능 저하 문제를 해결하기 위해.
• 벡터화된 코드가 관련 없는 스칼라 워크로드에 악영향을 미치는 환경에서 성능 변동성을 줄이고 성능 조합성을 복원하기 위해.
• 영향을 받는 코어에만 주파수 감소가 국한되도록 비침습적인 메커니즘을 설계하여, 나머지 코어의 성능을 유지하기 위해.
• 동일한 CPU 아키텍처에서 스레드 이동 기반의 핵심 전문화 기법이 투명한 솔루션으로서의 타당성과 효과성을 평가하기 위해.

제안 방법

• 메커니즘은 스케줄러 인터페이스를 사용해 AVX2 또는 AVX-512 명령어를 사용하는 코드 영역을 표시함으로써, 자동으로 스레드를 지정된 코어로 이동시킨다.
• 넓은 밴드폭의 벡터 명령어 실행이 가능한 코어의 일부만 허용되므로, 주파수 감소는 해당 코어들에만 영향을 미치며 전체 시스템에선 영향을 주지 않는다.
• 스레드가 넓은 밴드폭의 벡터 명령어를 AVX 지원이 없는 코어에서 실행하려 할 경우 스레드 이동이 트리거된다.
• 기존의 장애 및 이동 메커니즘을 활용하며, 명령어 예외를 통해 AVX 지원 코어로의 이동을 시작한다.
• 프로토타입은 MuQSS 스케줄러와 통합되며, 수동 인스트루멘테이션을 통해 벡터화된 코드 섹션을 식별한다.
• 미래 작업은 디어셈블링, 성능 카운터, 마지막 브랜치 기록을 활용해 짧은 AVX 집약적 코드 세그먼트를 자동으로 탐지하는 데 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 AVX2/AVX-512 실행을 코어의 일부로 국한함으로써, 주파수 스케일링으로 인한 전체 시스템 성능 저하를 줄일 수 있는가?
• RQ2 스레드 이동이 동일한 CPU 아키텍처에서 핵심 전문화를 비침습적으로 달성하는 데 얼마나 효과적인가?
• RQ3 벡터화된 코드 영역을 표시하기 위한 스케줄러 수준의 인터페이스가 성능 변동성을 최소화하는 데 얼마나 효과적인가?
• RQ4 하드웨어 성능 카운터와 마지막 브랜치 기록을 활용해 AVX 집약적 코드 영역을 자동으로 탐지할 수 있는가?

주요 결과

• 평가된 워크로드에서 제안된 메커니즘이 AVX로 인한 주파수 감소의 영향을 70% 이상 감소시켰다.
• 이 방법은 주파수 감속 현상을 실제로 벡터화된 코드를 실행하는 코어에만 국한시켜, 나머지 코어에서는 전체 성능을 유지함을 입증했다.
• nginx 및 OpenSSL 워크로드를 통한 평가 결과, 높은 처리량을 유지하면서도 성능 변동성을 최소화하는 것으로 확인되었다.
• 벡터화된 코드 영역에 대한 수동 인스트루멘테이션을 통해 응용 프로그램 수정 없이도 투명한 스레드 이동이 가능했다.
• 프로토타입은 기존 인텔 서버 CPU에서 소프트웨어 기반 코어 전문화가 실현 가능하고 효과적임을 보여주었다.
• 장애 및 이동 기법을 활용한 자동 탐지 기술—FXSTOR 크기 제한으로 예외를 유도하는 방식—는 수동 인스트루멘테이션을 제거할 수 있다는 점에서 유망한 전망을 보였다.