[論文レビュー] MAGPIE: Machine Automated General Performance Improvement via Evolution of Software

Aymeric Blot, Justyna Petke|arXiv (Cornell University)|Aug 4, 2022

Software Engineering Research被引用数 10

ひとこと要約

MAGPIE は、コンパイラフラグ、アルゴリズム設定、遺伝的コード変異をすべて編集シーケンスとして表現することにより、ソフトウェアの自動的で相乗的なパフォーマンス向上を可能にする統合フレームワークです。共通の表現と局所探索を用い、アルゴリズム設定により最大97％の実行時間短縮を達成し、併用による技術的改善でさらに10％の高速化を実現しています。ミニSAT や Weka のような特定のケースでは、統合最適化が個々の手法を上回る性能を発揮しています。

ABSTRACT

Performance is one of the most important qualities of software. Several techniques have thus been proposed to improve it, such as program transformations, optimisation of software parameters, or compiler flags. Many automated software improvement approaches use similar search strategies to explore the space of possible improvements, yet available tooling only focuses on one approach at a time. This makes comparisons and exploration of interactions of the various types of improvement impractical. We propose MAGPIE, a unified software improvement framework. It provides a common edit sequence based representation that isolates the search process from the specific improvement technique, enabling a much simplified synergistic workflow. We provide a case study using a basic local search to compare compiler optimisation, algorithm configuration, and genetic improvement. We chose running time as our efficiency measure and evaluated our approach on four real-world software, written in C, C++, and Java. Our results show that, used independently, all techniques find significant running time improvements: up to 25% for compiler optimisation, 97% for algorithm configuration, and 61% for evolving source code using genetic improvement. We also show that up to 10% further increase in performance can be obtained with partial combinations of the variants found by the different techniques. Furthermore, the common representation also enables simultaneous exploration of all techniques, providing a competitive alternative to using each technique individually.

研究の動機と目的

• コンパイラ最適化、アルゴリズム設定、遺伝的改善といった多様なソフトウェアパフォーマンス向上技術の間の比較や統合の欠如に取り組むこと。
• 特定の改善手法から探索戦略を分離することで、異なる最適化手法の公平かつ体系的な比較を可能にすること。
• コンパイラフラグ、設定パラメータ、コード変異といった異なる粒度での改善の間の相乗的相互作用を調査すること。
• 個別に最適化されたバージョンを独立して使用するか、併用するのではなく、複数の改善手法を同時に探索することで、より優れたパフォーマンスが得られるかどうかを評価すること。
• 研究者や実務家が新しい最適化戦略をプロトタイプ化・比較できる実用的で拡張可能なフレームワークを提供すること。

提案手法

• すべてのソフトウェア改善を、背後にある技術（例：コンパイラフラグの変更、設定の微調整、コードの変異）に依存しない原子的編集のシーケンスとして表現すること。
• すべての3つの技術に共通する局所探索戦略を用いることで、パフォーマンス向上の公平な比較を保証すること。
• 3つのコア技術を実装する：コンパイラ最適化（GCC/JVMフラグを介して）、アルゴリズム設定（ユーザーが公開するパラメータのチューニング）、遺伝的改善（ソースコードの変異）。
• すべての技術に同じ探索予算を適用し、最良のバージョンを再結合して相乗効果を評価すること。
• コンパイラ、設定、コードの3つの探索空間を同時に学習することで、統合的な改善を探索し、同じ編集シーケンス表現を用いること。
• 実行時間に基づくフィットネス評価を用い、1つのケースでは解の品質も併用して、多目的な結果を導くために探索をガイドすること。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 統合表現により、コンパイラ最適化、アルゴリズム設定、遺伝的改善の間でパフォーマンス向上の公平な比較が可能になるか？
• RQ2 RQ2: 実世界の C、C++、Java アプリケーションにおいて、個々の手法が実行時間の短縮にどの程度効果的か？
• RQ3 RQ3: それぞれの手法から最良のバージョンを再結合することで、個別改善を上回る追加のパフォーマンス向上が得られるか？
• RQ4 RQ4: 3つの手法を同時に最適化することで、個別または併用したアプローチに比べてパフォーマンスが向上するか？
• RQ5 RQ5: コンパイラ、設定、コードレベルの変更を同時に探索する際、探索空間の複雑さがどのような影響を及ぼすか？

主な発見

• コンパイラ最適化により、4つの実世界アプリケーションで最大25％の実行時間短縮が達成された。
• アルゴリズム設定は最大97％の短縮を達成し、特に Weka と MiniSAT で顕著な効果を示した。
• ソースコードの遺伝的改善により最大61％のパフォーマンス向上が得られ、低レベルのコード最適化における顕著な潜在的価値を示した。
• 各手法から最良のバージョンを部分的に再結合することで、一部のシナリオで追加で10％のパフォーマンス向上が得られた。
• 3つの手法を同時に学習させた結果、MiniSAT のバージョンが40％高速化された—これは個別手法や併用バージョンを上回る相乗的向上を示した。
• Weka では、誤分類率が57％低減し、36％の高速化が達成され、多目的な利点が明確に示された。