[論文レビュー] Predicting Performance of Software Configurations: There is no Silver Bullet

Alexander Grebhahn, Norbert Siegmund+1 more|arXiv (Cornell University)|Nov 28, 2019

Software System Performance and Reliability被引用数 7

ひとこと要約

本研究では、6つの実世界のシステムにおけるソフトウェア設定のパフォーマンス予測において、機械学習手法とサンプリング戦略の影響を評価している。両者ともに予測精度に顕著な影響を及ぼすことが判明し、ランダムフォレストと構造化されたサンプリングが他の手法を上回ったが、万能な最適な組み合わせは存在せず、パフォーマンス予測における「ノーフリーランチ定理」を裏付けた。

ABSTRACT

Many software systems offer configuration options to tailor their functionality and non-functional properties (e.g., performance). Often, users are interested in the (performance-)optimal configuration, but struggle to find it, due to missing information on influences of individual configuration options and their interactions. In the past, various supervised machine-learning techniques have been used to predict the performance of all configurations and to identify the optimal one. In the literature, there is a large number of machine-learning techniques and sampling strategies to select from. It is unclear, though, to what extent they affect prediction accuracy. We have conducted a comparative study regarding the mean prediction accuracy when predicting the performance of all configurations considering 6 machine-learning techniques, 18 sampling strategies, and 6 subject software systems. We found that both the learning technique and the sampling strategy have a strong influence on prediction accuracy. We further observed that some learning techniques (e.g., random forests) outperform other learning techniques (e.g., k-nearest neighbor) in most cases. Moreover, as the prediction accuracy strongly depends on the subject system, there is no combination of a learning technique and sampling strategy that is optimal in all cases, considering the tradeoff between accuracy and measurement overhead, which is in line with the famous no-free-lunch theorem.

研究の動機と目的

• 異なる機械学習手法とサンプリング戦略が、設定可能なソフトウェアシステムのパフォーマンスモデリングにおける予測精度にどのように影響するかを調査すること。
• さまざまなソフトウェアシステムにわたって、特定の学習アルゴリズムやサンプリング戦略が一貫して他のものよりも優れているかどうかを特定すること。
• 実験的パフォーマンスモデリングにおける予測精度と測定オーバーヘッドのトレードオフを評価すること。
• 設定空間の構造（2値型 vs. 数値型オプション）が予測精度に与える影響を評価すること。

提案手法

• 本研究では、多様な分野に属する6つの実世界の設定可能なソフトウェアシステムを用いて、比較的実験的評価を実施した。
• k近傍法（kNN）、カーネルリッジ回帰（KRR）、サポートベクタ回帰（SVR）、分類・回帰木（CART）、複数回帰（MR）、ランダムフォレスト（RF）の6つの機械学習手法を評価した。
• ランダムサンプリングおよびプラケット・バーマン計画やTワイズテストなどの構造化された戦略を含む18のサンプリング戦略を、2値型および数値型の設定オプションに対して適用した。
• 各システムについて、測定済みの設定のサブセットを用いて、すべての設定のパフォーマンス予測を生成し、平均絶対誤差（MAE）を精度指標として用いた。
• 全設定における平均予測誤差を測定し、学習手法とサンプリング戦略の両者が精度に与える影響を比較した。
• 測定済み設定の数を変化させることで、スケーラビリティおよびサンプルサイズへの感受性を評価するための実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 どの機械学習手法が、さまざまな設定可能なソフトウェアシステムにおいて最も高いパフォーマンス予測精度を達成するか？
• RQ2 ランダムサンプリングと構造化されたサンプリング（例：プラケット・バーマン計画）などの異なるサンプリング戦略は、パフォーマンス予測の精度にどのように影響するか？
• RQ3 学習手法のパフォーマンスは、対象となるソフトウェアシステムの特性に依存するか？
• RQ4 測定済み設定の数が予測精度にどの程度影響を及ぼすか、また、これはサンプリング戦略によってどのように変化するか？
• RQ5 すべてのシステムおよび設定タイプにわたって一貫して他の組み合わせを上回る学習手法とサンプリング戦略の組み合わせが存在するか？

主な発見

• ランダムフォレスト（RF）と分類・回帰木（CART）は、他の学習手法と比較して一貫して優れており、大多数のシステムで顕著に低い平均絶対誤差を達成した。
• プラケット・バーマン計画やTワイズサンプリングなどの構造化されたサンプリング戦略は、特に小さなサンプルサイズの場合に、ランダムサンプリングよりも高い精度の予測を達成した。
• 学習手法のパフォーマンスはシステム間で顕著に異なり、すべての設定やシステムに最適なアルゴリズムは存在しなかった。
• 2値型設定オプションでは、構造化されたサンプリングが、数値型オプションよりもより顕著に精度を向上させた。数値型オプションでは、精度がサンプリング手法よりもサンプルサイズに大きく依存していた。
• 測定済み設定の数が増加するに従い、異なるサンプリング戦略間の予測精度の差が縮小した。これは、大規模なサンプルでは利得の逓減が顕著であることを示している。
• すべてのシステムにおいて、最適な学習手法とサンプリング戦略の組み合わせは存在しなかった。これは、パフォーマンス予測における「ノーフリーランチ定理」を確認した。