[論文レビュー] Faster Discovery of Faster System Configurations with Spectral Learning

Vivek Nair, Tim Menzies+2 more|arXiv (Cornell University)|Jan 27, 2017

Software Engineering Research参考文献 37被引用数 25

ひとこと要約

本稿では、ソフトウェア構成間の距離行列の固有値を用いるスペクトル学習アプローチであるWHATを提案する。この手法により次元削減が可能となり、従来手法よりもはるかに少ないサンプル数（数10個程度）で正確で安定した性能予測が可能となる。最新技術と比較して2–10倍のサンプル削減を達成しながら、予測誤差は10%未満、標準偏差は2%未満に抑えられる。

ABSTRACT

Despite the huge spread and economical importance of configurable software systems, there is unsatisfactory support in utilizing the full potential of these systems with respect to finding performance-optimal configurations. Prior work on predicting the performance of software configurations suffered from either (a) requiring far too many sample configurations or (b) large variances in their predictions. Both these problems can be avoided using the WHAT spectral learner. WHAT's innovation is the use of the spectrum (eigenvalues) of the distance matrix between the configurations of a configurable software system, to perform dimensionality reduction. Within that reduced configuration space, many closely associated configurations can be studied by executing only a few sample configurations. For the subject systems studied here, a few dozen samples yield accurate and stable predictors - less than 10% prediction error, with a standard deviation of less than 2%. When compared to the state of the art, WHAT (a) requires 2 to 10 times fewer samples to achieve similar prediction accuracies, and (b) its predictions are more stable (i.e., have lower standard deviation). Furthermore, we demonstrate that predictive models generated by WHAT can be used by optimizers to discover system configurations that closely approach the optimal performance.

研究の動機と目的

• 大規模で複雑なソフトウェアシステムにおいて、最小限のサンプリングで性能最適な構成を特定する課題に対処すること。
• 従来手法が過剰なサンプル数を必要としたり、高い予測分散を示したりするという限界を克服すること。
• 少数の代表的構成からなる、スケーラブルで安定的かつ正確な性能予測手法を開発すること。
• 代替モデルを効率的に活用するため、信頼性が高く分散が小さい予測子を生成することで最適化を支援すること。
• サンプル空間の構成をサンプリングするために、最初の主成分を用いたスペクトルクラスタリングの有効性を示すこと。

提案手法

• 本手法は、構成間の距離行列のスペクトル（固有値）を用いてスペクトル次元削減を実行する。
• 最初の主成分の近似を用いて再帰的に構成空間を分割し、類似した構成のクラスタを同定する。
• スペクトル特性に基づき、各クラスタから少数の代表的構成を選択することで、サンプリングコストを最小化する。
• 相関次元で測定される構成空間の内因的低次元性を活用し、サンプリングをガイドする。
• 距離に基づく類似度メトリクス（ユークリッド距離）を用いて構成をグループ化し、情報量の多いサンプルを同定する。
• 得られたモデルは、標準的な最適化アルゴリズムが近似的に最適な構成を特定できる代替予測子として使用される。

実験結果

リサーチクエスチョン

• RQ1 スペクトル学習は、構成可能なソフトウェアシステムにおける性能予測に必要なサンプル数を削減しつつ、精度を維持または向上させることができるか？
• RQ2 構成空間の距離行列の最初の主成分の使用が、サンプリング効率と予測安定性をどのように向上させるか？
• RQ3 WHATが生成する予測モデルは、標準的な最適化アルゴリズムが近似的に最適な構成を特定するためにどれほど効果的に使用できるか？
• RQ4 構成空間の内因的次元性は、スペクトルサンプリング戦略の性能にどの程度影響を与えるか？
• RQ5 サンプル効率性と予測分散の両面で、最新技術を上回る性能を達成できるか？

主な発見

• WHATは、6つの実世界システムにおいて数10個のサンプルで予測誤差が10%未満、標準偏差が2%未満を達成する。
• 最新技術と比較して2〜10倍のサンプル削減を実現しながら、予測精度を同等または上回る。
• WHATが生成する予測モデルは安定的かつ効果的であり、全テスト対象システムで標準的な最適化アルゴリズムが近似的に最適な構成を特定可能である。
• 相関次元で測定された構成空間の内因的次元性は低く、これが本手法の優れた性能を説明する。
• WHATは、SiegmundらおよびGuoらを精度と安定性の両面で上回り、Sarkarらと同等の精度を達成しながらはるかに少ないサンプル数を要する。
• 本手法は、Berkeley DB、Apache、SQLite、LLVM、x264を含む多様なシステムで堅牢に機能し、広範な適用可能性を示している。