[논문 리뷰] A Static Analysis-based Cross-Architecture Performance Prediction Using Machine Learning

Newsha Ardalani, Urmish Thakker외 2명|arXiv (Cornell University)|2019. 06. 18.

Parallel Computing and Optimization Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 단일 스레드 CPU 소스 코드의 정적 분석만을 사용하여 교차 아키텍처 GPU 성능 향상도를 예측하는 기계학습 프레임워크인 Static XAPP을 제안한다. 정적 분석을 통해 10개의 프로그램 특성을 추출하고, 이산화된 성능 향상 임계값에 기반해 랜덤 포레스트 분류기를 훈련시킴으로써, 다양한 커프오프 값에서 이진 분류 평균 정확도가 94%에 이를 정도로 높은 정확도를 달성한다. 이는 동적 실행이나 인간의 입력 없이도 정적 특성만으로도 정확한 성능 예측이 가능하다는 것을 보여준다.

ABSTRACT

Porting code from CPU to GPU is costly and time-consuming; Unless much time is invested in development and optimization, it is not obvious, a priori, how much speed-up is achievable or how much room is left for improvement. Knowing the potential speed-up a priori can be very useful: It can save hundreds of engineering hours, help programmers with prioritization and algorithm selection. We aim to address this problem using machine learning in a supervised setting, using solely the single-threaded source code of the program, without having to run or profile the code. We propose a static analysis-based cross-architecture performance prediction framework (Static XAPP) which relies solely on program properties collected using static analysis of the CPU source code and predicts whether the potential speed-up is above or below a given threshold. We offer preliminary results that show we can achieve 94% accuracy in binary classification, in average, across different thresholds

연구 동기 및 목표

• CPU 코드를 GPU로 이식하는 데 드는 높은 비용과 불확실성을 줄이기 위해 초기 단계에서 잠재적 성능 향상도를 예측할 수 있도록 하는 것.
• 동적 바이너리 인스트루멘테이션이나 수동 특성 추정에 의존하는 것을 제거하여, 느리고 오류가 발생하기 쉬운 방식을 피하는 것.
• CPU 소스 코드의 정적 분석만을 사용하여 프로그램이 GPU에서 높은 향상도 또는 낮은 향상도를 달성할 수 있는지 예측하는 프레임워크를 개발하는 것.
• 빠르고 자동화된 성능 예측을 제공하여 IDE 및 장치 배치 최적화에 실질적으로 통합할 수 있도록 하는 것.
• 동적 실행이 반드시 필요하다는 가정에 도전하며, 정적 프로그램 특성이 교차 아키텍처 성능 예측에 충분히 설명력이 있음을 입증하는 것.

제안 방법

• 프레임워크는 단일 스레드 CPU 코드에 대한 정적 분석을 통해 메모리 액세스 패턴, 루프 구조, 데이터 종속성 등의 10개의 프로그램 특성을 수집한다.
• 특성 값은 등빈도 분할을 사용해 두 개에서 세 개의 수준으로 이산화되어 노이즈 감소와 강건성 향상을 도모한다.
• 출력 성능 향상도는 사용자 정의 커프오프 임계값에 기반해 두 클래스로 나뉘며, 이는 이진 분류를 가능하게 한다.
• 1000개의 트리를 가진 랜덤 포레스트 분류기가 레이블이 부여된 데이터셋에 대해 훈련되며, 각 트리마다 무작위로 특성과 학습 샘플의 부분집합을 사용한다.
• 모델은 다양한 GPU 플랫폼과 커프오프 값에 대해 이론적 유효성 검증을 위해 한 개씩 제외하는 교차 검증(LOOCV)을 사용하여 안정성과 일반화 능력을 평가한다.
• 데이터셋은 벤치마크 스위트(Lonestar, Rodinia, NAS)에서 유래되었으며, 부정 예시(낮은 GPU 성능 후보)를 포함시키기 위해 자체 제작된 마이크로벤치마크로 보완되었다.

실험 결과

연구 질문

• RQ1 CPU 소스 코드의 정적 분석만으로도 프로그램이 GPU에서 높은 향상도 또는 낮은 향상도를 달성할 수 있는지 예측할 수 있는가?
• RQ2 정적 특성에 기반한 기계학습 모델이 다양한 GPU 플랫폼에서 교차 아키텍처 성능 예측에 얼마나 정확한가?
• RQ3 성능 향상도 커프오프 임계값과 플랫폼 별 성능 특성에 따라 모델 정확도는 어떻게 변하는가?
• RQ4 성능 향상도 클래스 수가 이진 분류를 초과해 증가할 경우, 프레임워크는 여전히 높은 정확도와 안정성을 유지할 수 있는가?
• RQ5 고품질 GPU 최적화 커널의 수가 제한되어 있는 상황에서, 데이터셋 편향과 작은 표본 크기에도 불구하고 프레임워크는 강건한가?

주요 결과

• 이 프레임워크는 다양한 성능 향상도 커프오프 값과 GPU 플랫폼에서 이진 분류 평균 정확도가 94%에 이른다.
• 플랫폼 1(GTX 750, Maxwell)에서는 정확도가 최소 79%에서 최대 97% 사이로, 커프오프 값 평균 86%를 기록한다.
• 플랫폼 2(GTX 660 Ti, Kepler)에서는 정확도가 최소 76.5%에서 최대 89% 사이로, 커프오프 값 평균 83%를 기록한다.
• 모델은 커프오프 값의 변동성과 플랫폼 별 성능 분포의 변화에 대해 강건하게 유지되며, 높은 일반화 능력을 보인다.
• 다중 클래스 분류 정확도는 예상대로 클래스 수가 늘어남에 따라 감소하지만, 2~5개 클래스 범위에서 모델은 여전히 신뢰성 있게 작동한다.
• 연구 결과 정적 프로그램 특성이 성능 예측에 충분히 설명력이 있음을 입증하며, 동적 실행이나 인간 입력이 반드시 필요하다는 가정에 도전한다.