[論文レビュー] On Bootstrapping Machine Learning Performance Predictors via Analytical Models

Diego Didona, Paolo Romano|arXiv (Cornell University)|Oct 19, 2014

Software System Performance and Reliability参考文献 37被引用数 13

ひとこと要約

本稿では、分散システムにおける性能予測の精度を向上させるために、解析的モデル（AM）と機械学習（ML）を組み合わせるグレイボックス手法「Bootstrapping」を提案する。AMを用いて初期の合成トレーニングデータセットを生成し、運用中の実データを反復的に統合することで、純粋なMLやAMよりも高い精度を達成する。特に、外挿や低品質な解析的モデルの状況下でも顕著な効果を示す。

ABSTRACT

Performance modeling typically relies on two antithetic methodologies: white box models, which exploit knowledge on system's internals and capture its dynamics using analytical approaches, and black box techniques, which infer relations among the input and output variables of a system based on the evidences gathered during an initial training phase. In this paper we investigate a technique, which we name Bootstrapping, which aims at reconciling these two methodologies and at compensating the cons of the one with the pros of the other. We thoroughly analyze the design space of this gray box modeling technique, and identify a number of algorithmic and parametric trade-offs which we evaluate via two realistic case studies, a Key-Value Store and a Total Order Broadcast service.

研究の動機と目的

• 純粋なブラックボックス機械学習（外挿性能の悪さ、次元の呪い）およびホワイトボックスの解析的モデリング（近似誤差）の限界を解消する。
• 解析的モデルの一般化能力（トレーニングデータ不要）と機械学習の既知領域における高精度性を統合するハイブリッドアプローチにより、両者の長所を統合する。
• モデル精度と構築時間に影響を与える、ブートストラップ設計における主要なアルゴリズム的・パrametricなトレードオフを同定および分析する。
• 実世界の2つの分散システム（キーバリュー・ストアとトータル・オーダー・ブロードキャストサービス）に対して、手法を実証的に評価する。
• 解析的モデルの品質が低くても、ブートストラップモデルが単独のMLやAMを上回ることを示す。

提案手法

• 入力パラメータ空間全体におけるシステム動作をシミュレートするために、解析的モデル（AM）を用いて初期の合成トレーニングデータセットを生成する。
• 初期の合成データセット上で機械学習予測器（例：Cubist）を訓練し、グレイボックス予測器を構築する。
• 運用システムから収集した実際の性能測定値を用いて、トレーニングデータセットを段階的に更新する。
• 2つの更新戦略を適用する：「Merge」（合成データと実データを統合）と「RNR2」（実データに近い合成データを実データに置き換え）。
• 再訓練時の合成データと実データの影響を制御するため、パrametricチューニング（例：カットオフ閾値、重み）を実施する。
• MAPE（平均絶対パcent誤差）などの指標を用いて、実データの含み具合やAMの品質に応じたモデル精度を評価する。

実験結果

リサーチクエスチョン

• RQ1 ブートストラップ手法は、単独の解析的モデルや機械学習モデルと比較して、性能予測精度をどのように向上させるか？
• RQ2 ブートストラップパイプライン設計における主要なアルゴリズム的・パrametricなトレードオフは何か？ そして、それらはモデル精度とトレーニング時間にどのように影響するか？
• RQ3 ブートストラップモデルの性能は、下位の解析的モデルの品質に対してどれほど感受性を示すか？
• RQ4 不正確な解析的モデルからの誤差を、実運用データを用いて効果的に是正できるか？
• RQ5 異なるサンプル更新戦略（例：Merge対RNR2）は、特に実データが希な領域において、モデルの頑健性と精度にどのように影響するか？

主な発見

• ブートストラップ手法は、純粋な解析的モデルやブラックボックス機械学習と比較して、特に外挿シナリオにおいて顕著に予測精度を向上させる。
• 解析的モデルの誤差率が高くても（例：MAPEが70%）、ブートストラップモデルはCubistのような純粋なブラックボックス学習器を上回る性能を示す。
• 実データに近い合成データを積極的に置き換えるRNR2戦略は、解析的モデルの品質が低い場合にMerge戦略を上回る性能を発揮する。
• AMの品質が低いほど、RNR2とMergeの性能差が拡大する。これは、初期モデルが不正確な場合に、実データの統合を積極的に行う方が有効であることを示唆する。
• ハイパーパrameter（例：カットオフ閾値、重み）の適切なチューニングが不可欠である。不適切なチューニングでは、単独のAMやMLモデルよりも性能が劣ることがある。
• 本手法は、解析的モデルの一般化能力を効果的に活用するとともに、実世界のデータによる誤差補正を実現し、機械学習部の有効なトレーニング領域を拡大する。