[論文レビュー] A Case Study: Using Genetic Algorithm for Job Scheduling Problem

Burak Tağtekin, Mahiye Uluyağmur Öztürk+1 more|arXiv (Cornell University)|Jun 9, 2021

Distributed and Parallel Computing Systems参考文献 20被引用数 5

ひとこと要約

本論文は、DevOps CI/CDパイプラインにおけるジョブ優先順位リストおよびマシン割り当てを自動的に生成する遺伝的アルゴリズム（GA）ベースの手法を提案し、マックススパンとマシン使用量の両方を最小化する。ジョブ優先順位とリソース要件をカスタムクロモソーム表現で符号化し、重み付きフィットネス関数を用いることで、手動スケジューリングに比べ20％のビルド効率向上を達成した。

ABSTRACT

Nowadays, DevOps pipelines of huge projects are getting more and more complex. Each job in the pipeline might need different requirements including specific hardware specifications and dependencies. To achieve minimal makespan, developers always apply as much machines as possible. Consequently, others may be stalled for waiting resource released. Minimizing the makespan of each job using a few resource is a challenging problem. In this study, it is aimed to 1) automatically determine the priority of jobs to reduce the waiting time in the line, 2) automatically allocate the machine resource to each job. In this work, the problem is formulated as a multi-objective optimization problem. We use GA algorithm to automatically determine job priorities and resource demand for minimizing individual makespan and resource usage. Finally, the experimental results show that our proposed priority list generation algorithm is more effective than current priority list producing method in the aspects of makespan and allocated machine count.

研究の動機と目的

• 複雑なDevOpsパイプラインにおけるジョブ優先順位リストの自動生成を目的とし、待ち時間とリソース競合を低減する。
• ジョブスケジューリングにおけるマックススパンと使用マシン数の最小化を目的とし、マルチオブジェクティブ最適化の課題に取り組む。
• ジョブ優先順位とマシン固有の要件（タイプと数）を両方符号化する、新規のクロモソーム表現を開発すること。
• 高速でデッドロックのない優先順位リスト検証アルゴリズムを導入することで、GAのスケーラビリティとパフォーマンスを向上させること。
• 順序付きクロスオーバー法を用いることで、ジョブ順序を保持し、計算時間を短縮することで、クロスオーバーの効率を向上させること。

提案手法

• カスタムクロモソーム表現により、各ジョブのジョブ優先順位順序とマシン割り当て詳細（マシンタイプと数）を符号化する。
• 重み付きフィットネス関数は、実行時間（集団内の最大実行時間で重み付け）とマシン数（最大マシン数で重み付け）を組み合わせて、解の評価を行う。
• フィットネス関数は依存関係制約を組み込み、ジョブがすべての依存関係が完了した後でのみスケジューリング可能であることを保証する。
• 高速で反復的な優先順位リスト検証アルゴリズム（アルゴリズム3）により、ジョブをその最高の依存先行ジョブの後に配置することで、デッドロックを回避する。
• 後代の生成に順序付きクロスオーバー法を用い、ジョブ順序を保持し、他方の親からの遺伝子でギャップを埋めることで重複を回避する。
• アルゴリズムは3つのシナリオでテストされた：ベースライン実行時間とのベンチマーク、一貫性の評価、GA実行時間を含むソリューション総時間の測定。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムは、DevOpsジョブスケジューリングパイプラインにおいて、マックススパンとマシン数の両方を効果的に最小化できるか？
• RQ2 提案された自動優先順位リスト生成手法は、実行時間とリソース効率の面で、手動スケジューリングに比べてどのように異なるか？
• RQ3 ジョブ順序とマシン割り当てを統合した新規クロモソーム表現の導入が、解の品質と収束速度に与える影響は何か？
• RQ4 高速でデッドロックのない優先順位リスト検証アルゴリズムは、大規模スケジューリング問題における計算オーバーヘッドを顕著に低減できるか？
• RQ5 順序付きクロスオーバーの使用は、ジョブスケジューリングにおけるGAの効率とスケーラビリティをどの程度向上させるか？

主な発見

• 提案されたGAベースの優先順位リスト生成により、実世界のCI/CDパイプラインにおける平均マックススパンが手動スケジューリングに比べ約20％削減された。
• アルゴリズムは複数回の実行において一貫して近似的に最適な結果を生成し、性能の高さと低いばらつきを示した。
• 2番目の優先順位リスト検証アルゴリズム（アルゴリズム3）は、初版と比べて約30倍高速であり、より大規模かつ多様な集団の生成を可能にした。
• マックススパン＋GA実行時間の合計時間は、GA計算時間を含んでも、ベースラインの手動手法を上回らなかった。
• 順序付きクロスオーバーの使用により、特に400個以上のジョブを含む大規模なジョブリストにおいて、PMXに比べクロスオーバー処理に要する時間が顕著に短縮された。
• クロモソーム表現は、ジョブの依存関係とマシン固有の要件を効果的に符号化できており、複数の目的にわたる最適化を可能にした。