[論文レビュー] Machine Learning for Predictive Analytics of Compute Cluster Jobs

Dan Andresen, William Hsu+2 more|arXiv (Cornell University)|May 20, 2018

Data Stream Mining Techniques参考文献 15被引用数 9

ひとこと要約

本論文では、カンザス州立大学のBeocatクラスタから得た履歴ジョブログを用いて、提出時におけるメモリ不足やCPU割当て不足によるHPCジョブの失敗を予測する教師あり機械学習手法を提案する。研究では、提出時時点で入手可能な特徴量を用いて、分類モデル、特にガウス・ナイーブベイズが、リソース関連のジョブ失敗を高い精度で予測できることを示している。これにより、リソース見積もりの改善を目的としたパーソナライズドフィードバックが可能になる。

ABSTRACT

We address the problem of predicting whether sufficient memory and CPU resources have been requested for jobs at submission time. For this purpose, we examine the task of training a supervised machine learning system to predict the outcome - whether the job will fail specifically due to insufficient resources - as a classification task. Sufficiently high accuracy, precision, and recall at this task facilitates more anticipatory decision support applications in the domain of HPC resource allocation. Our preliminary results using a new test bed show that the probability of failed jobs is associated with information freely available at job submission time and may thus be usable by a learning system for user modeling that gives personalized feedback to users.

研究の動機と目的

• HPCジョブが提出時におけるCPUまたはメモリの割当て不足により失敗するかどうかを、提出時刻に予測する機械学習システムの開発。
• 予測分析による予防的意思決定支援を可能にすることで、HPCリソースの割当てを改善すること。
• 実世界のジョブログを用いたテストベッドを構築し、歴史的ジョブ行動のトレーニングと評価に使用する。
• ジョブ失敗パターンとユーザの経験およびデモグラフィックプロファイルを関連付けることで、ユーザモデリングを試み、パーソナライズドフィードバックを実現すること。
• 提出時メタデータのみを用いて、ジョブリソース使用量と失敗結果を予測するための教師あり学習の実現可能性を評価すること。

提案手法

• Beocat HPCシステムの履歴ジョブ提出ログおよびモニタリングログ（ジョブリクエストパラメータと実際のリソース使用量を含む）を収集・処理した。
• リクエストされたCPU時間、メモリ、コア数、およびユーザ固有の履歴行動などのジョブ提出からの特徴量を抽出した。
• 分類モデル（例：CART、ガウス・ナイーブベイズ、ランダムフォレスト）を適用し、リソース過小見積もりに起因するジョブ失敗を予測した。
• 回帰モデル（例：CART回帰）を用いて、提出時の特徴量に基づく実際のCPUおよびメモリ使用量を予測した。
• 精度、適合率、再現率、F1スコアなどの指標を用いてモデルを評価し、実運用における低推論時間の実現を重視した。
• ユーザクラスタリングおよびソーシャルネットワークモデリングを活用し、専門分野のコミュニティを特定し、パーソナライズドレコメンデーションのためのユーザプロファイリングを改善した。

実験結果

リサーチクエスチョン

• RQ1 履歴ジョブログを用いてトレーニングされた機械学習モデルは、提出時におけるリソース割当て不足に起因するジョブ失敗を、高い精度で予測できるか？
• RQ2 分類モデルの精度、適合率、推論速度という観点から、どの機械学習アルゴリズムが最も優れているか？
• RQ3 過去の失敗率などのユーザ固有の履歴行動（例：過去の失敗率）を組み込むことで、予測性能がどの程度向上するか？
• RQ4 非線形のCPU使用量（例：非線形分布）と線形のメモリ使用量（例：線形分布）といった異なるデータ分布が、回帰および分類モデルの選択にどのように影響を与えるか？
• RQ5 ジョブの類似性や失敗パターンに基づくユーザ間のソーシャルネットワーク構造は、予測モデリングおよびユーザフィードバックのパーソナライズを向上させることができるか？

主な発見

• ガウス・ナイーブベイズが分類モデルの中で最高の精度を達成し、推論時間が短いため、最も効率的であると特定された。
• CART回帰は、非線形分布を示すCPU使用量の予測に効果的であったが、ほぼ線形分布を示すメモリ使用量の予測には失敗した。
• 個々のユーザの集計特徴量を追加しても、F1スコアや精度に顕著な向上が見られなかったため、現在の特徴量セットには予測力に限界があることが示唆された。
• CPU使用量予測において、ユーザごとの特徴量を追加することで決定係数（R-squared）にわずかな上昇が観察された。
• ジョブ失敗と標準的な提出時特徴量との間に強く識別可能な関係は確認できず、現在のデータには十分な予測信号が欠けている可能性があることが示された。
• 結果から、ユーザ行動や失敗パターンをより良く捉えるために、ベイジアンネットワークやグラフィカルモデルといったより高度な因果モデルの導入が求められることが示唆された。