[논문 리뷰] Profile Guided Optimization without Profiles: A Machine Learning Approach

Nadav Rotem, Chris Cummins|arXiv (Cornell University)|2021. 12. 24.

Parallel Computing and Optimization Techniques인용 수 6

한 줄 요약

이 논문은 프ofile 데이터가 필요 없이, 대량의 인스트루멘티드 바이너리에서 추출한 정적 프로그램 특징을 기반으로 기울기 부스팅 결정 트리로 훈련된 모델을 사용하여, 인스트루멘티드 프로그램에서 분기 확률을 예측하는 머신 러닝 접근법을 제시한다. 이 방법은 LLVM에 원활하게 통합되며, BranchProbabilityInfo에서 수작업으로 작성된 히ュ리스틱을 대체하는 학습된 모델을 제공하여 편차가 거의 없는 컴파일 시간 오버헤드로 상당한 성능 향상을 달성한다.

ABSTRACT

Profile guided optimization is an effective technique for improving the optimization ability of compilers based on dynamic behavior, but collecting profile data is expensive, cumbersome, and requires regular updating to remain fresh. We present a novel statistical approach to inferring branch probabilities that improves the performance of programs that are compiled without profile guided optimizations. We perform offline training using information that is collected from a large corpus of binaries that have branch probabilities information. The learned model is used by the compiler to predict the branch probabilities of regular uninstrumented programs, which the compiler can then use to inform optimization decisions. We integrate our technique directly in LLVM, supplementing the existing human-engineered compiler heuristics. We evaluate our technique on a suite of benchmarks, demonstrating some gains over compiling without profile information. In deployment, our technique requires no profiling runs and has negligible effect on compilation time.

연구 동기 및 목표

• 생산 컴파일러에서 프로파일 가이드드 옵티마이제이션(PGO) 데이터를 수집하는 데 드는 높은 비용과 유지보수 부담을 해결하기 위해.
• LLVM의 복잡하고 수작업으로 작성된 분기 확률 히ュ리스틱을 데이터 기반의 학습 가능한 모델로 대체하기 위해.
• 프로파일링이나 런타임 인스트루멘테이션 없이도 정적 프로그램 특징만을 사용하여 인스트루멘티드 프로그램에서 분기 확률을 정확하게 예측할 수 있도록 하기 위해.
• LLVM 컴파일 파이프라인에 직접 통합 가능한 확장성 있고, 오버헤드가 거의 없는 솔루션을 개발하기 위해.
• 프로파일링이나 런타임 인스트루멘테이션 없이도 실제 워크로드에서 측정 가능한 성능 향상을 입증하기 위해.

제안 방법

• 오프라인 훈련은 대량의 인스트루멘티드 바이너리에서 정적 특징(예: 블록 수, 루프 깊이, 분기 조건 등)과 PGO 메타데이터로부터 얻은 정답 분기 확률을 수집한다.
• 기울기 부스팅 결정 트리 모델(XGBoost 사용)이 이러한 정적 특징을 기반으로 분기 확률을 예측하도록 훈련되며, 이는 BranchProbabilityInfo 단계에서 LLVM의 수작업으로 작성된 히ュ리스틱을 대체한다.
• 모델은 정적 분 析 정보만을 사용하여 컴파일 시간에 분기 가중치를 주석 처리하는 새로운 컴파일러 단계로 통합된다.
• 특징 공학은 브랜치당 30개 이상의 정적 프로그램 특징을 추출한다. 이에는 제어 흐름 관계, 명령어 수, 조건자 유형 등이 포함된다.
• 해석 가능성과 효율성을 위해 심층 신경망을 피하고, 디버깅과 유지보수에 더 용이한 경량이고 해석 가능한 결정 트리를 선호한다.
• 최종 모델은 프로파일링 오버헤드가 전혀 없고 컴파일 시간에 미미한 영향을 미치는 방식으로 생산 환경에 배포된다.

실험 결과

연구 질문

• RQ1 정적 특징만을 사용하여 인스트루멘티드 프로그램에서 분기 확률을 정확하게 예측할 수 있는가?
• RQ2 프로파일 데이터가 필요 없이 머신 러닝 모델이 LLVM의 BranchProbabilityInfo 단계에서 수작업 히ュ리스틱을 능가할 수 있는가?
• RQ3 학습된 모델을 LLVM 컴파일 파이프라인에 통합할 경우 성능에 어떤 영향을 미치는가?
• RQ4 ESP나 VESPA와 같이 분기 확률을 예측하는 기존 접근법과 비교해 모델의 정확도는 어떻게 되는가?
• RQ5 단일의 통합 모델이 정확한 분기 가중치 메타데이터를 제공함으로써 여러 최적화 단계에 유익한가?

주요 결과

• 프로파일 데이터 없이 컴파일할 경우, 여러 오픈소스 벤치마크에서 상당한 성능 향상을 달성하여 정적 예측의 효과성을 입증한다.
• 컴파일 시간 오버헤드가 거의 없고, 모델 자체 외에 메모리 사용량이 없는 방식으로 LLVM에 원활하게 통합된다.
• BPI에서 수천 줄의 수작업으로 작성된 C++ 히ュ리스틱을 단순하고 해석 가능한 결정 트리 모델로 대체한다.
• PGO 워크플로우에서 유도된 결정적인 정답 레이블을 가진 대규모 훈련 데이터 코퍼스를 활용함으로써 높은 정확도로 분기 확률을 예측한다.
• 예측 모델은 새로운 프로그램으로도 잘 일반화되어 다양한 워크로드에서 일관된 최적화 향상을 제공한다.
• 프로파일링에서 직접 유도된 노이즈가 없는 정답 레이블을 사용함으로써, 프oxy 메트릭이나 강화 학습에 의존하는 이전 접근법보다 우수한 성능을 발휘한다.