[論文レビュー] DisaggRec: Architecting Disaggregated Systems for Large-Scale Personalized Recommendation

Ke Liu, Xuan Zhang+3 more|arXiv (Cornell University)|Dec 2, 2022

Cloud Computing and Resource Management被引用数 5

ひとこと要約

DisaggRecは、大規模なパーソナライズドレコメンデーションワークロード向けに、コンピューティングリソースとメモリリソースを分離することで、独立したスケーリングとコスト効率の向上を可能にする非統合型アーキテクチャを提案する。変化するモデルワークロードに最適化されたリソースプロビジョニングと、ニアメモリプロセッシングのような異種ハードウェアのサポートにより、モノリシックサーバーと比較して総所有コスト（TCO）を最大49.3％削減する。

ABSTRACT

Deep learning-based personalized recommendation systems are widely used for online user-facing services in production datacenters, where a large amount of hardware resources are procured and managed to reliably provide low-latency services without disruption. As the recommendation models continue to evolve and grow in size, our analysis projects that datacenters deployed with monolithic servers will spend up to 12.4x total cost of ownership (TCO) to meet the requirement of model size and complexity over the next three years. Moreover, through in-depth characterization, we reveal that the monolithic server-based cluster suffers resource idleness and wastes up to 30% TCO by provisioning resources in fixed proportions. To address this challenge, we propose DisaggRec, a disaggregated system for large-scale recommendation serving. DisaggRec achieves the independent decoupled scaling-out of the compute and memory resources to match the changing demands from fast-evolving workloads. It also improves system reliability by segregating the failures of compute nodes and memory nodes. These two main benefits from disaggregation collectively reduce the TCO by up to 49.3%. Furthermore, disaggregation enables flexible and agile provisioning of increasing hardware heterogeneity in future datacenters. By deploying new hardware featuring near-memory processing capability, our evaluation shows that the disaggregated cluster achieves 21%-43.6% TCO savings over the monolithic server-based cluster across a three-year span of model evolution.

研究の動機と目的

• 固定されたコンピューティング・メモリ比を持つモノリシックサーバーでは、リソースの無駄遣いと高い総所有コスト（TCO）が生じるため、大規模レコメンデーションシステムにおける非効率を是正すること。
• 急速に進化するレコメンデーションモデルが引き起こすコンピューティングとメモリの需要の乖離に対応できないモノリシック設計の限界を克服すること。
• コンピューティングノードとメモリノードを分離することで、障害の独立した管理と動的バックアッププロビジョニングを可能にし、システムの信頼性を向上させること。
• ニアメモリプロセッシングDRAM（NMP-DIMM）などの異種ハードウェアの柔軟で効果的なプロビジョニングを可能にし、コストとパフォーマンス効率を最大化すること。
• 生産環境のレコメンデーションワークロードにおける厳格な尾遅延および可用性SLAを満たすために、システム構成とタスクスケジューリングを最適化すること。

提案手法

• ワークロードの需要に応じて、コンピューティングノード（CN）とメモリノード（MN）を分離し、コンピューティングとメモリリソースの独立したスケーリングを可能にする。
• 非統合ノード構成とモデルパーティショニング戦略を共同最適化することで、遅延と可用性制約を満たしつつコストを最小限に抑える。
• RDMAベースの通信プロトコルを活用し、CNとMN間での低遅延・高スループットのリモートメモリアクセスを実現する。
• 埋め込み処理中のデータ移動とネットワークオーバーヘッドを低減するため、メモリノードに軽量なプロセッシング（CPUやASIC）を導入する。
• CNとMN間の障害率の差に応じて動的にバックアップリソースをプロビジョニングすることで、システム信頼性を向上させる。
• 複数世代にわたるレコメンデーションモデルの性能とコストを、モノリシッククラスタと非統合クラスタで比較評価する。

実験結果

リサーチクエスチョン

• RQ1 進化するレコメンデーションモデルにおいて、モノリシックサーバーのリソースの無駄遣いは、総所有コスト（TCO）をどの程度増加させるか？
• RQ2 非統合型システムアーキテクチャは、大規模レコメンデーションサービングにおけるコスト効率とリソース利用効率をどのように向上させるか？
• RQ3 実世界のワークロードと障害パターン下で、非統合化が尾遅延とシステム信頼性に与える影響は何か？
• RQ4 非統合化は、ニアメモリプロセッシングDRAMのような新技術ハードウェアの統合とコスト最適化をどのように可能にするか？
• RQ5 モノリシックサーバーと比較して、非統合クラスタが3年間のモデル進化サイクルにわたって得られる長期的TCO削減効果は何か？

主な発見

• モノリシックサーバーは、固定されたコンピューティング・メモリプロビジョニングに起因し、最大23.1％のTCO増加と、障害耐性のための過剰プロビジョニングに起因する最大6.8％の追加コストを負担する。
• DisaggRecは、コンピューティングとメモリリソースの独立したスケーリングにより、無駄な容量を最小限に抑え、動的なワークロード需要に最適化することで、TCOを49.3％削減する。
• 3年間のモデル進化にわたる評価で、非統合クラスタはモノリシッククラスタと比較して21％から43.6％のTCO削減を達成し、特にNMP-DIMMのような新技術ハードウェアを採用した場合に顕著である。
• DisaggRecは、スループットに2％未満の低下しか生じさせない一方で、コスト効率と信頼性を著しく向上させる。
• 非統合化により、ニアメモリプロセッシングDRAMの柔軟な割り当てが可能になり、メモリ帯域幅の未利用を低減することで、効果的な活用が可能になる。
• 障害の隔離により信頼性が向上し、コンピューティングノードの障害が直接メモリノードに影響を及ぼさず、逆も同様であるため、的確な回復戦略が可能になる。