[論文レビュー] Machine Learning in Compiler Optimisation

Zheng Wang, Michael O’Boyle|arXiv (Cornell University)|May 9, 2018

Parallel Computing and Optimization Techniques参考文献 169被引用数 19

ひとこと要約

本論文は、コンパイラ最適化における機械学習の包括的サーベイを提示し、最適化意思決定の自動化と向上を目的とした証拠に基づく手法として位置づけている。教師あり学習モデルがプログラム特徴量を用いて最適なコンパイラ最適化を予測する方法を詳細に説明しており、適応的でプラットフォームに配慮したコンパilationを可能にするとともに、手作業によるヒューリスティクスへの依存を軽減し、コンパイラ研究分野におけるイノベーションの新たな道筋を開く。

ABSTRACT

In the last decade, machine learning based compilation has moved from an an obscure research niche to a mainstream activity. In this article, we describe the relationship between machine learning and compiler optimisation and introduce the main concepts of features, models, training and deployment. We then provide a comprehensive survey and provide a road map for the wide variety of different research areas. We conclude with a discussion on open issues in the area and potential research directions. This paper provides both an accessible introduction to the fast moving area of machine learning based compilation and a detailed bibliography of its main achievements.

研究の動機と目的

• コンパイラ最適化における機械学習を、ヒューリスティクスに基づくアプローチを越えた主流で証拠に基づく手法として確立すること。
• 現代のハードウェアの複雑化と性能ギャップの拡大に応じて、データ駆動型モデルを用いた最適化意思決定の自動化を通じて、その課題に対処すること。
• 機械学習のコンパイラへの応用について、特徴表現、モデルタイプ、デプロイメント戦略を含めた体系的な概要を提供すること。
• 学習プログラム解析や中間表現の学習といった、未解決の研究課題と今後の方向性を特定すること。
• 機械学習に基づくコンパイルのメカニズムを解明し、その潜在的可能性が、コンパイラ設計における創造性と頑健性を向上させることを示すこと。

提案手法

• 履歴的なプログラムおよびパフォーマンスデータに基づいて、入力がプログラム特徴量で出力が最適化意思決定またはパフォーマンス指標である教師あり機械学習を用いてモデルを訓練する。
• 二段階のパイプラインを採用する：(1) ベンチマークプログラムからのラベル付きデータを用いた学習、(2) コンパイル時における訓練済みモデルのデプロイにより最適化選択を支援する。
• 最適化タスクの複雑さに応じて、線形モデル、決定木、ランダムフォレスト、ニューラルネットワークなど多様な機械学習モデルを活用する。
• パフォーマンス結果と相関する静的および動的プログラム特性（例：ループ構造、データアクセスパターン）を抽出するための特徴量工学に依存する。
• トランスファーラーニングおよびオートチューニング技術を用いて、異なるハードウェアプラットフォームやアプリケーションドメイン間でモデルを適応させる。
• 実験の厳密性を重視し、再現可能性と結果の共同レビューを確保するため、トレーニングデータおよびテストデータの公開を提唱する。

実験結果

リサーチクエスチョン

• RQ1 機械学習を、特定のプログラムおよびターゲットアーキテクチャに対して最も利益の高いコンパイラ最適化を予測するのに効果的に応用する方法は何か？
• RQ2 最適化結果の予測を可能にするために、プログラムを表現するのに最も効果的な特徴量は何か？
• RQ3 機械学習モデルは、異なるハードウェアプラットフォームやアプリケーションドメイン間でどの程度一般化可能か？
• RQ4 機械学習を用いて最適化意思決定だけでなく、データフロー解析やポインタ解析のような低レベルの解析自体を学習することは可能か？
• RQ5 特に安全が求められるシステムにおいて、機械学習に基づくコンパイルの信頼性と解釈可能性をどのように確保できるか？

主な発見

• 機械学習は、ニッチな研究テーマから、データ駆動型で自動化された意思決定を可能にする主流の手法へと進化した。
• プログラム特徴量に基づいて訓練された教師あり学習モデルは、最適なコンパイラフラグ、ループ変換、並列化戦略を効果的に予測できる。
• 機械学習の活用により、コンパイラ開発者の負担が軽減され、より積極的で革新的な最適化が可能になる。
• その可能性にかかわらず、モデルのパフォーマンスは訓練データの質と代表性に強く依存するため、データのキュレーションが重要な課題である。
• 機械学習モデルは、新しい変換を考案したり、静的解析の検証を実行したりすることはできない。これらは、入力データの正しさと完全性、および人間が定義したルールに完全に依存している。
• 本分野はさらなる成長が見込まれ、中間表現の学習、プログラム空間マッピング、自動解析といったオープンな研究課題が存在する。