[論文レビュー] Determinism, Complexity, and Predictability in Computer Performance

Joshua Garland, Ryan G. James+1 more|arXiv (Cornell University)|May 23, 2013

Evolutionary Algorithms and Applications参考文献 14被引用数 4

ひとこと要約

この論文は、システムが本質的に決定論的であるにもかかわらず、複雑なコンピュータパフォーマンストレースに対して決定論的予測モデルが失敗する理由を調査している。時間的複雑性の指標としてパーミュテーション・エントロピーを用い、高いエントロピーが予測精度の低さと強く相関することを示している。特にgcc や sphinx3 のような複雑なプログラムでは顕著であり、一方で単純なマイクロカーネルのような低エントロピーのトレースは高い予測可能性を示す。

ABSTRACT

Computers are deterministic dynamical systems (CHAOS 19:033124, 2009). Among other things, that implies that one should be able to use deterministic forecast rules to predict their behavior. That statement is sometimes-but not always-true. The memory and processor loads of some simple programs are easy to predict, for example, but those of more-complex programs like compilers are not. The goal of this paper is to determine why that is the case. We conjecture that, in practice, complexity can effectively overwhelm the predictive power of deterministic forecast models. To explore that, we build models of a number of performance traces from different programs running on different Intel-based computers. We then calculate the permutation entropy-a temporal entropy metric that uses ordinal analysis-of those traces and correlate those values against the prediction success

研究の動機と目的

• 本質的に決定論的なシステムであるにもかかわらず、複雑なコンピュータパフォーマンストレースに対して決定論的予測モデルが失敗する理由を理解すること。
• 時間的複雑性が、決定論的システムであっても予測可能性を損なう役割を果たすかどうかを調査すること。
• パーミュテーション・エントロピーが、コンピュータパフォーマンス指標の予測可能性の信頼できる予測子として機能するかどうかを評価すること。
• 正規化平均二乗予測誤差（nRMSPE）を用いて、マイクロカーネルと複雑なベンチマークの両方を含む多様なプログラム間での予測精度を比較すること。
• 予測可能と実質的に予測不能を区別するパーミュテーション・エントロピーの閾値を同定すること。

提案手法

• プロセッサ負荷とキャッシュミス率の時間遅れ観測値を用いて、時間遅れ埋め込み法を用いてパフォーマンストレースの状態空間ダイナミクスを再構築する。
• 平均相互情報量と偽の近隣者手法を用いて、最適な埋め込みパラメータ（時間遅れτと次元m）を推定する。
• 順序パターンの順序nを用いてパフォーマンス時系列のパーミュテーション・エントロピー（PE）を計算し、log₂(n!)で正規化することで、0から1の間の値を取得する。
• 再構築されたダイナミクスに基づく単純な決定論的予測モデルを用い、正規化平均二乗予測誤差（nRMSPE）による予測精度を計算する。
• n = 4, 5, 6の各場合におけるパーミュテーション・エントロピー値とnRMSPEを相関させ、異なるプログラムおよびシステム指標における予測可能性の傾向を評価する。
• 増加する語長nにおけるPEの収束を分析し、有限データ長の影響を考慮した恒常的エントロピー水準を推定する。

実験結果

リサーチクエスチョン

• RQ1 パーミュテーション・エントロピーは、決定論的システムにおけるコンピュータパフォーマンストレースの予測可能性をどの程度正確に予測できるか？
• RQ2 本質的に決定論的なシステムであるにもかかわらず、gcc や sphinx3 のような複雑なプログラムでは、なぜ決定論的予測モデルが失敗するのか？
• RQ3 異なるパフォーランス指標およびプログラムにおけるパーミュテーション・エントロピー水準と予測精度（nRMSPE）の関係は何か？
• RQ4 有限のデータ長は、恒常的パーミュテーション・エントロピーの推定およびその予測力にどのように影響するか？
• RQ5 予測可能と実質的に予測不能を区別する識別可能なエントロピー閾値は存在するか？

主な発見

• 403.gcc および 482.sphinx3 からのトレースにおいて、特にパーミュテーション・エントロピーが0.97以上に達すると、決定論的予測モデルが圧倒されるほどの時間的複雑性を示し、nRMSPEが0.1416～0.3670にまで上昇する。
• 低パーミュテーション・エントロピー（例：n=4のときcol_majorキャッシュミスが0.5029）のトレースは高い予測可能性を示し、nRMSPEが0.0080まで低下するなど、強い予測可能性を示す。
• row_majorおよびcol_majorキャッシュミストレースの恒常的パーミュテーション・エントロピー（0.5～0.6）は、カオス的ダイナミクスを示しており、単純なマイクロカーネルにカオス的アトラクタが存在するという先行研究の結果を裏付けている。
• マイクロカーネルのプロセッサ負荷トレースは、キャッシュミストレースよりも高い時間的複雑性（PE ≈ 0.8～0.97）を示しており、これは基盤値が低く、変動性が高いためと推定される。
• パーミュテーション・エントロピーは語長nの増加に伴い減少するが、その低下率は異なる：一部のトレースでは低下が遅く、理論的漸近値に近い傾向を示しており、より安定したエントロピー推定であることを示唆している。
• 本研究では実用的閾値を同定した：PE ≤ 0.7 は非常に予測可能なトレース（nRMSPE < 0.01）を示し、PE ≥ 0.97 はほぼホワイトノイズに近い複雑性を示し、決定論的モデルは効果を失う。