[論文レビュー] Learning-based Two-tiered Online Optimization of Region-wide Datacenter Resource Allocation

Changlin Chen, Hanhan Zhou+9 more|arXiv (Cornell University)|Jun 29, 2023

Cloud Computing and Resource Management被引用数 5

ひとこと要約

本稿では、容量保証、フェイルセーフ、ネットワークアフィニティを満たす動的ワークロード配置を想定した、大規模データセンターリソース割り当てのオンラインでスケーラブルな最適化を実現する二段階型ディープレインフォースメントラーニング（DRL）フレームワークを提案する。DRLによる高レベルのリソース予約意思決定と、MILPによる低レベルのサーバーマッピングを分離することで、MIPソルバーと比較して計算時間を90%削減し、コスト効率を15%向上させ、大規模クラウド環境における実用的導入を可能にする。

ABSTRACT

Online optimization of resource management for large-scale data centers and infrastructures to meet dynamic capacity reservation demands and various practical constraints (e.g., feasibility and robustness) is a very challenging problem. Mixed Integer Programming (MIP) approaches suffer from recognized limitations in such a dynamic environment, while learning-based approaches may face with prohibitively large state/action spaces. To this end, this paper presents a novel two-tiered online optimization to enable a learning-based Resource Allowance System (RAS). To solve optimal server-to-reservation assignment in RAS in an online fashion, the proposed solution leverages a reinforcement learning (RL) agent to make high-level decisions, e.g., how much resource to select from the Main Switch Boards (MSBs), and then a low-level Mixed Integer Linear Programming (MILP) solver to generate the local server-to-reservation mapping, conditioned on the RL decisions. We take into account fault tolerance, server movement minimization, and network affinity requirements and apply the proposed solution to large-scale RAS problems. To provide interpretability, we further train a decision tree model to explain the learned policies and to prune unreasonable corner cases at the low-level MILP solver, resulting in further performance improvement. Extensive evaluations show that our two-tiered solution outperforms baselines such as pure MIP solver by over $15\%$ while delivering $100 imes$ speedup in computation.

研究の動機と目的

• 1000万台以上のサーバーを有する大規模データセンターデータセンターにおける、オンラインワークロード割り当てのスケーラビリティと動的要因を扱う。
• 大規模障害発生時にも容量保証を満たしつつ、サーバー移動とリソースの重複を最小限に抑える。
• 混合整数プログラミング（MILP）が、高い計算コストと大きな意思決定空間のため、リアルタイムで動的環境に適応できないという限界を克服する。
• システムのダイナミクスに伴う長期的なパフォーマンス最適化を可能にする、スケーラブルな二段階最適化フレームワークを設計する。
• DRLとMILPを統合し、実世界のクラウドシステムにおける効率的で実用的な導入を実現する。

提案手法

• 二段階アーキテクチャを設計：高レベルのDRLエージェントがリソース予約ごとのリソース供給を段階的に決定し、低レベルのMILPがリソース予約へのサーバーマッピングを解く。
• DRLエージェントは、アクションコンバータ（ソフトマックスと指数関数）を用いて意思決定を具体的なMSBレベルのサーバーリソース予約に変換することで、縮小されたアクション空間で動作する。
• 低レベルのMILPは、DRLエージェントの出力を制約として用い、ラックレベルのリソース重複とサーバー移動コストを最小化する。
• サーバータイプごとに問題を分離することで最適化を簡素化し、スケーラビリティを向上させる。
• 二つのバリアントを実装：単一DRLエージェントと並列DRLエージェントであり、性能とスケーラビリティの両面で評価された。
• シミュレーション環境を用いて訓練およびテストを行い、実世界のデータセンターダイナミクスと障害シナリオを模擬した。

実験結果

リサーチクエスチョン

• RQ1 DRLベースのアプローチは、大規模な制約下でオンラインかつ動的データセンターリソース割り当てにおいて、長期的に最適なパフォーマンスを達成できるか？
• RQ2 二段階アーキテクチャは、数百万の意思決定変数を持つシステムにおけるDRLの計算負荷をどの程度軽減できるか？
• RQ3 コスト、レイテンシ、スケーラビリティの観点から、提案手法はMIPソルバーやヒューリスティック手法をどの程度上回るか？
• RQ4 アクションコンバータは、実世界の導入におけるDRL意思決定の妥当性と効率性をどの程度向上させるか？
• RQ5 さまざまな運用条件下で、サーバー移動コスト、リソース重複、容量保証の間にはどのようなトレードオフが生じるか？

主な発見

• 提案された二段階型DRLアプローチは、30ラウンドの意思決定においてテスト時間を26秒にまで短縮した。一方、MIPソルバーではほぼ1時間かかっていたため、計算時間は90%削減された。
• MIPソルバーと比較して、全体のコストが15%低く抑えられ、リソース重複と移動の最小化という観点で優れた最適化性能を示した。
• 並列エージェントバージョンのトレーニング時間は、10,000台のサーバーシステムで56分であり、大規模導入においても管理可能なスケーラビリティを示した。
• パーセンタイルごとに最小の容量冗長性を維持し、冗長性制約に一切違反しなかったため、高い信頼性を確保した。
• サーバー移動コストが上昇するにつれ、総移動回数は減少したが、リソースの分散と冗長性はわずかに増加した。これは最適化における妥当なトレードオフであることを確認した。
• 単一エージェントと並列エージェントの両バージョンで同等の性能を示し、異なるトレーニング設定下でもDRL設計のロバスト性が裏付けられた。