[论文解读] Machine Learning in Compiler Optimisation

Zheng Wang, Michael O’Boyle|arXiv (Cornell University)|May 9, 2018

Parallel Computing and Optimization Techniques参考文献 169被引用 19

一句话总结

本文全面综述了机器学习在编译器优化中的应用，将其定位为一种基于证据的方法，用于自动化并改进代码转换决策。文章详细阐述了监督学习模型如何利用程序特征来预测最优编译器优化，从而实现自适应、平台感知的编译，减少对人工硬编码启发式规则的依赖，并为编译器研究开辟了新的创新途径。

ABSTRACT

In the last decade, machine learning based compilation has moved from an an obscure research niche to a mainstream activity. In this article, we describe the relationship between machine learning and compiler optimisation and introduce the main concepts of features, models, training and deployment. We then provide a comprehensive survey and provide a road map for the wide variety of different research areas. We conclude with a discussion on open issues in the area and potential research directions. This paper provides both an accessible introduction to the fast moving area of machine learning based compilation and a detailed bibliography of its main achievements.

研究动机与目标

• 将机器学习确立为主流的、基于证据的编译器优化方法，超越基于启发式的传统方法。
• 通过使用数据驱动模型自动化优化决策，应对现代硬件日益增长的复杂性以及性能差距扩大的挑战。
• 提供机器学习在编译器中应用的系统性概述，包括特征表示、模型类型和部署策略。
• 识别开放的研究挑战与未来方向，例如学习程序分析和中间表示。
• 揭示基于机器学习的编译技术的神秘面纱，展示其在提升编译器设计的创造力与鲁棒性方面的潜力。

提出的方法

• 使用监督机器学习，在历史程序与性能数据上训练模型，其中输入为程序特征，输出为优化决策或性能指标。
• 采用两阶段流程：(1) 在基准程序的标注数据上进行训练；(2) 在编译时部署训练好的模型，以指导优化选择。
• 根据优化任务的复杂性，采用多种机器学习模型，包括线性模型、决策树、随机森林和神经网络。
• 依赖特征工程，提取与性能结果相关的静态与动态程序特征（例如，循环结构、数据访问模式）。
• 应用迁移学习与自动调优技术，使模型能够适应不同硬件平台和应用领域。
• 强调实验严谨性，倡导公开共享训练与测试数据，以确保结果的可复现性，并支持同行评审。

实验结果

研究问题

• RQ1 如何有效应用机器学习，以预测特定程序与目标架构下最具收益的编译器优化？
• RQ2 哪些特征最有效地表示程序，以实现对优化结果的准确预测？
• RQ3 机器学习模型在多大程度上能跨不同硬件平台和应用领域实现泛化？
• RQ4 机器学习能否不仅用于学习优化决策，还能用于学习低层次分析（如数据流分析或指针分析）？
• RQ5 如何确保基于机器学习的编译在安全关键系统中的可信度与可解释性？

主要发现

• 机器学习已从一个边缘研究课题发展为主流的编译器优化方法，实现了数据驱动的自动化决策。
• 在程序特征上训练的监督学习模型，能够有效预测最优编译器标志、循环变换和并行化策略。
• 使用机器学习可减轻编译器开发者的负担，自动化盈利能力分析，从而支持更激进且更具创新性的优化。
• 尽管前景广阔，但模型性能在很大程度上取决于训练数据的质量与代表性，因此数据整理成为关键挑战。
• 机器学习模型无法发明新的变换或执行静态分析验证——其效果完全依赖于输入数据的正确性与完整性，以及人工定义的规则。
• 该领域仍处于快速发展阶段，开放的研究方向包括学习中间表示、程序空间映射以及自动化分析。