[논문 리뷰] MLComp: A Methodology for Machine Learning-based Performance Estimation and Adaptive Selection of Pareto-Optimal Compiler Optimization Sequences

Alessio Colucci, Dávid Juhász외 7명|arXiv (Cornell University)|2020. 12. 09.

Parallel Computing and Optimization Techniques참고 문헌 54인용 수 4

한 줄 요약

MLComp는 동적 프로파일링에 비해 시간이 덜 소요되는 빠르고 높은 정확도를 가진 기계학습 기반 성능 추정기를 사용하여, 적응형 다중목표 컴파일러 최적화 순서화를 위한 강화학습 기반 방법론을 제안한다. x86 및 RISC-V 플랫폼 전반에서 실행 시간은 최대 12% 향상되고 에너지 소비는 6% 감소하며, 상대 오차는 2% 이하이며, 최신 기술 대비 50배 빠른 학습 속도를 달성한다.

ABSTRACT

Embedded systems have proliferated in various consumer and industrial applications with the evolution of Cyber-Physical Systems and the Internet of Things. These systems are subjected to stringent constraints so that embedded software must be optimized for multiple objectives simultaneously, namely reduced energy consumption, execution time, and code size. Compilers offer optimization phases to improve these metrics. However, proper selection and ordering of them depends on multiple factors and typically requires expert knowledge. State-of-the-art optimizers facilitate different platforms and applications case by case, and they are limited by optimizing one metric at a time, as well as requiring a time-consuming adaptation for different targets through dynamic profiling. To address these problems, we propose the novel MLComp methodology, in which optimization phases are sequenced by a Reinforcement Learning-based policy. Training of the policy is supported by Machine Learning-based analytical models for quick performance estimation, thereby drastically reducing the time spent for dynamic profiling. In our framework, different Machine Learning models are automatically tested to choose the best-fitting one. The trained Performance Estimator model is leveraged to efficiently devise Reinforcement Learning-based multi-objective policies for creating quasi-optimal phase sequences. Compared to state-of-the-art estimation models, our Performance Estimator model achieves lower relative error (<2%) with up to 50x faster training time over multiple platforms and application domains. Our Phase Selection Policy improves execution time and energy consumption of a given code by up to 12% and 6%, respectively. The Performance Estimator and the Phase Selection Policy can be trained efficiently for any target platform and application domain.

연구 동기 및 목표

• 고정된 단일목표 컴파일러 최적화 정책의 한계를 해결하기 위해 전문가의 튜닝과 동적 프로파일링이 필요한 문제를 해결한다.
• 다양한 플랫폼과 애플리케이션 도메인 간 최적화 순서의 빠르고 자동화된 적응을 가능하게 한다.
• 실행 시간, 에너지 소비, 코드 크기의 다중목표 최적화 프레임워크를 개발한다.
• 시간이 많이 소요되는 동적 프로파일링에 대한 의존도를 줄이기 위해, 빠르고 정확한 기계학습 기반 성능 추정기로 대체한다.

제안 방법

• 정적 컴파일러 메트릭을 기반으로 실행 시간, 에너지 소비, 코드 크기 등의 동적 프로그램 특성을 예측할 수 있도록 기계학습 기반 성능 추정기(PE) 모델을 훈련시킨다.
• 예측 정확도를 극대화하기 위해 히우리스틱 검색을 통해 PE 모델이 자동으로 최적의 데이터 전처리 방법과 기계학습 알고리즘(XGBoost, LightGBM 등)을 선택한다.
• PE 모델의 예측 결과를 기반으로 다중목표 최적화 순서를 제안하는 강화학습(RL) 기반 단계 선택 정책(PSS)을 훈련시킨다.
• PSS 정책은 PE 모델의 예측 결과를 사용해 시뮬레이션 환경에서 훈련되며, 반복적인 동적 프로파일링 없이도 신속한 정책 적응이 가능하다.
• 최소한의 프로파일링 데이터로 새로운 타겟에 대해 PE 및 PSS 모델을 재학습함으로써 자동화된 플랫폼 독립적 배포를 지원한다.
• 이러한 방법론은 다양한 컴파일러, 플랫폼, 애플리케이션 도메인 간 종단간 자동화되고 재사용 가능한 최적화 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양한 플랫폼과 애플리케이션에서 최소한의 프로파일링 오버헤드로 높은 정확도를 달성할 수 있는 기계학습 기반 성능 추정기가 가능한가?
• RQ2 다중목표 최적화를 위해 강화학습 기반 정책이 파레토 최적 순서를 효과적으로 선택할 수 있는가?
• RQ3 제안된 방법론은 광범위한 동적 프로파일링에 의존하는 최신 기술 대비 적응 시간을 줄일 수 있는가?
• RQ4 PE 모델이 수동 재설정 없이 다양한 컴파일러 타겟과 애플리케이션 워크로드 간에 얼마나 잘 일반화되는가?
• RQ5 PSS 정책의 다중목표 최적화 성능은 실행 시간, 에너지 소비, 코드 크기 측면에서 단일목표 최신 기술 대비 어떠한가?

주요 결과

• 성능 추정기 모델은 실행 시간, 에너지 소비, 코드 크기, 명령어 수에 대해 최대 상대 오차가 2% 미만으로 나타나, 기존 최신 기술 대비 2–7% 오차를 보인다.
• PE 모델은 기존 연구 대비 최대 50배 빠른 학습 속도를 기록하며, 전체 모델 훈련에 2일의 프로파일링만으로도 충분하며, 이는 이전 연구의 15–108일 대비 현저히 감소한 것이다.
• 단계 선택 정책(PSS)은 표준 컴파일러 최적화 대비 실행 시간을 최대 12% 향상시키고 에너지 소비를 최대 6% 감소시킨다.
• 다중목표 최적화를 위해 PSS 정책은 코드 크기를 유지하거나 약 0.1% 향상시키며, 단일목표 접근법에서 흔히 발생하는 트레이드오���을 피한다.
• 이 방법론은 다양한 플랫폼(x86 및 RISC-V)과 애플리케이션 도메인(PARSEC 및 BEEBS 벤치마크) 간에 최적화 정책의 완전 자동화, 재사용성, 빠른 적응을 가능하게 한다.
• 프레임워크는 최소한의 수동 간섭으로도 뛰어난 일반화 능력과 효율성을 입증하며, 새로운 타겟에 대한 배포 시 요구되는 노력이 극히 적다.