[論文レビュー] FIRM: An Intelligent Fine-Grained Resource Management Framework for SLO-Oriented Microservices

Haoran Qiu, Subho S. Banerjee+3 more|arXiv (Cornell University)|Aug 19, 2020

Software System Performance and Reliability参考文献 86被引用数 64

ひとこと要約

FIRMは、ML駆動のフレームワークで、マイクロサービスのSLO違反を検出・局在化し、細粒度での競合を特定し、RL駆動の再プロビジョニングとスケーリングによって問題を緩和します。

ABSTRACT

Modern user-facing latency-sensitive web services include numerous distributed, intercommunicating microservices that promise to simplify software development and operation. However, multiplexing of compute resources across microservices is still challenging in production because contention for shared resources can cause latency spikes that violate the service-level objectives (SLOs) of user requests. This paper presents FIRM, an intelligent fine-grained resource management framework for predictable sharing of resources across microservices to drive up overall utilization. FIRM leverages online telemetry data and machine-learning methods to adaptively (a) detect/localize microservices that cause SLO violations, (b) identify low-level resources in contention, and (c) take actions to mitigate SLO violations via dynamic reprovisioning. Experiments across four microservice benchmarks demonstrate that FIRM reduces SLO violations by up to 16x while reducing the overall requested CPU limit by up to 62%. Moreover, FIRM improves performance predictability by reducing tail latencies by up to 11x.

研究の動機と目的

• レイテンシ感度が高いマイクロサービスにおけるSLO違反を減らすための細粒度リソース多重化の必要性を動機づける。
• マイクロサービス粒度で根本原因を局在化し競合を緩和する、オンラインでアーキテクチャに依存しないフレームワークを開発する。
• 機械学習を活用する（局在化にはSVM、緩和にはRL）とオンラインテレメトリで適応的なリソース再提供を実現。
• 性能異常注入と転移学習による迅速な学習と適応を可能にする。
• Kubernetes上でのオープンソース実装をデモンストレーションし、実際のマイクロサービスベンチマークで評価する。

提案手法

• オンラインのテレメトリとトレースデータを用いて、マイクロサービスの実行とリソース使用を監視する。
• SVMベースの検出を適用して、クリティカルパス上のSLO違反マイクロサービスインスタンスを局在化する。
• RLベースの（DDPG）緩和ループを用いて、細粒度の再プロビジョニングアクション（スケールアップ/スケールアウトとリソースのパーティショニング）を決定する。
• 実行履歴とインスタンスごとの変動指標のグラフベース分析によって、クリティカルパスとクリティカルコンポーネントを抽出する。
• 異常注入フレームワークと転移学習を用いてRLエージェントを訓練し、ワークロードの変化に適応する。
• オープンソースのKubernetes統合を提供し、複数のマイクロサービスベンチマークで評価を行う。

実験結果

リサーチクエスチョン

• RQ1 RQ1、FIRMはトレーシングとML技術を用いてSLO違反の原因となるマイクロサービスインスタンスをどの程度正確に検出・局在化できるか。
• RQ2 RQ2、異なるワークロードや競合タイプにわたって、RLベースの緩和がSLO違反、テールレイテンシ、全体のCPUリソース使用をどれだけ効果的に低減できるか。
• RQ3 RQ3、オンラインの異常注入と転移学習はFIRMのモデルの学習効率と適応性にどう寄与するか。
• RQ4 RQ4、KubernetesオートスケーリングおよびAIMDベースの手法と比べて、SLO違反の低減と性能予測性の改善においてFIRMはどういう比較を示すか。

主な発見

• FIRMはKubernetesオートスケーリングと比較してSLO違反を最大16倍、AIMDベースの手法と比較して最大9倍削減する。
• FIRMは要求CPU全体を最大62%削減する。
• FIRMは平均テールレイテンシを最大11倍削減し、性能予測性を向上させる。
• ベンチマーク全体でクリティカルパスの局在化精度は平均93%であった。
• FIRMは緩和をより迅速に達成し、違反への対応時間でKubernetesオートスケーリングに対して最大30倍の改善を実現する。
• 異常注入と転移学習により、マイクロサービス特化のRLエージェントの迅速で適応的な訓練が可能になる。