[논문 리뷰] Machine Learning in Compiler Optimisation

Zheng Wang, Michael O’Boyle|arXiv (Cornell University)|2018. 05. 09.

Parallel Computing and Optimization Techniques참고 문헌 169인용 수 19

한 줄 요약

이 논문은 컴파일러 최적화에서 기계학습을 포괄적으로 조사하며, 이를 데이터 기반 접근법으로 프로그램 변환 결정을 자동화하고 향상시키는 데 활용하는 것으로 프레임워크를 제공한다. 특히 지도 학습 모델이 프로그램 특징을 사용하여 최적의 컴파일러 최적화를 예측하는 방식을 상세히 기술하며, 플랫폼 인식형 컴파일링을 가능하게 하고 수작업으로 정의된 히ュ리스틱에 의존하는 것을 줄이며 컴파일러 연구 분야에서 혁신의 새로운 길을 열어준다.

ABSTRACT

In the last decade, machine learning based compilation has moved from an an obscure research niche to a mainstream activity. In this article, we describe the relationship between machine learning and compiler optimisation and introduce the main concepts of features, models, training and deployment. We then provide a comprehensive survey and provide a road map for the wide variety of different research areas. We conclude with a discussion on open issues in the area and potential research directions. This paper provides both an accessible introduction to the fast moving area of machine learning based compilation and a detailed bibliography of its main achievements.

연구 동기 및 목표

• 컴파일러 최적화에서 히ュ리스틱 기반 접근법을 넘어서, 기계학습을 주류이자 데이터 기반의 방법론으로 정착시키는 것.
• 현대 하드웨어의 복잡성 증가와 성능 격차 확대 문제를 해결하기 위해 데이터 기반 모델을 활용해 최적화 결정을 자동화하는 것.
• 컴파일러에서 기계학습 응용의 체계적인 개요를 제공함으로써, 특징 표현, 모델 유형, 배포 전략 등을 포함한다.
• 학습 프로그램 분석 및 중간 표현 학습과 같은 열린 연구 과제와 향후 방향성을 특정하고 제시하는 것.
• 기계학습 기반 컴파일링의 신뢰성과 투명성을 높이며, 특히 안전이 중요한 시스템에서의 잠재력을 입증하고 창의성과 강건성을 향상시키는 데 기여하는 것.

제안 방법

• 기존 프로그램 및 성능 데이터를 기반으로 지도 학습 모델을 훈련시키며, 입력은 프로그램 특징, 출력은 최적화 결정 또는 성능 지표이다.
• 이중 단계 파이프라인을 활용한다: (1) 벤치마크 프로그램에서 생성된 레이블이 붙은 데이터로 훈련하고, (2) 컴파일 시간에 훈련된 모델을 배포하여 최적화 선택을 안내한다.
• 최적화 작업의 복잡성에 따라 선형 모델, 결정 트리, 랜덤 포레스트, 신경망 등 다양한 기계학습 모델을 활용한다.
• 성능 결과와 상관관계가 있는 정적 및 동적 프로그램 특징(예: 루프 구조, 데이터 접근 패턴 등)을 추출하기 위해 특징 공학을 활용한다.
• 이식성 학습 및 오토튜닝 기법을 적용하여 다양한 하드웨어 플랫폼과 애플리케이션 도메인 간에 모델을 적응시킨다.
• 실험적 엄밀성을 강조하기 위해, 재현 가능성과 결과의 동료 검토를 보장하기 위해 훈련 및 테스트 데이터를 공개하는 것을 주장한다.

실험 결과

연구 질문

• RQ1 어떻게 기계학습을 효과적으로 활용하여 특정 프로그램과 타겟 아키텍처에 가장 유익한 컴파일러 최적화를 예측할 수 있는가?
• RQ2 최적화 결과 예측에 효과적인 성능을 내기 위해 프로그램을 표현하는 데 가장 적합한 특징는 무엇인가?
• RQ3 기계학습 모델이 다양한 하드웨어 플랫폼과 애플리케이션 도메인 간에 얼마나 잘 일반화될 수 있는가?
• RQ4 기계학습을 사용하여 최적화 결정뿐 아니라 데이터 플로우 분석, 포인터 분석과 같은 저수준 분석도 학습할 수 있는가?
• RQ5 특히 안전이 중요한 시스템에서, 기계학습 기반 컴파일링의 신뢰성과 해석 가능성은 어떻게 확보할 수 있는가?

주요 결과

• 기계학습은 낙관적인 연구 주제에서 컴파일러 최적화의 주류 접근법으로 진화하여 데이터 기반의 자동 결정 부문을 가능하게 하였다.
• 프로그램 특징에 기반해 훈련된 지도 학습 모델은 최적의 컴파일러 플래그, 루프 변환 전략, 병렬화 전략을 효과적으로 예측할 수 있다.
• 기계학습의 활용은 수익성 분석을 자동화함으로써 컴파일러 작성자의 부담을 줄여주며, 더 적극적이고 혁신적인 최적화를 가능하게 한다.
• 그러나 모델의 성능는 훈련 데이터의 품질과 대표성에 크게 의존하므로, 데이터 셋 정제가 핵심 과제가 된다.
• 기계학습 모델은 새로운 변환 전략을 창안하거나 정적 분석 검증을 수행할 수 없다. 이는 입력 데이터의 정확성과 완전성 및 인간이 정의한 규칙에 완전히 의존한다.
• 이 분야는 향후 더 큰 성장을 이룰 전망이며, 중간 표현 학습, 프로그램 공간 매핑, 자동 분석 등 열린 연구 과제들이 존재한다.