[論文レビュー] NDBench: Benchmarking Microservices at Scale

Ioannis Papapanagiotou, Vinay Chella|arXiv (Cornell University)|Jul 27, 2018

Cloud Computing and Resource Management参考文献 9被引用数 10

ひとこと要約

NDBench は、Netflix が開発したクラウドネイティブでプラグイン対応のベンチマークフレームワークであり、スケールにおけるマイクロサービスおよびデータストアの継続的・動的パフォーマンステストを目的としている。実行時における設定変更、障害状態下での長時間テスト、本番に近い環境との統合を可能とし、実際のシナリオにおいてメモリリークやレプリケーションのボトルネックといった問題を特定する。

ABSTRACT

Software vendors often report performance numbers for the sweet spot or running on specialized hardware with specific workload parameters and without realistic failures. Accurate benchmarks at the persistence layer are crucial, as failures may cause unrecoverable errors such as data loss, inconsistency or corruption. To accurately evaluate data stores and other microservices at Netflix, we developed Netflix Data Benchmark (NDBench), a Cloud benchmark tool. It can be deployed in a loosely-coupled fashion with the ability to dynamically change the benchmark parameters at runtime so we can rapidly iterate on different tests and failure modes. NDBench offers pluggable patterns and loads, support for pluggable client APIs, and was designed to run continually. This design enabled us to test long-running maintenance jobs that may affect the performance, test numerous different systems under adverse conditions, and uncover long-term issues like memory leaks or heap pressure.

研究の動機と目的

• 障害状態下におけるマイクロサービスおよびデータストアのための現実的で長時間のパフォーマンスベンチマークの不足に対処する。
• 実行時における設定変更を可能とする継続的・動的ベンチマークを提供し、現実の障害モードとシステムストレスをシミュレートする。
• Netflix のクラウドネイティブスタック（例：Eureka、Archaius、Spectator）との統合を支援し、本番に近いテストを実現する。
• EVCache や Dynomite といった社内システムを含む多様なデータストアおよびマイクロサービスを統合的にテストできる、一元的で拡張可能なフレームワークを提供する。
• 自動化・再現可能なテストパイプラインを通じて、データストアのアップグレードおよびシステム設定のプレプロダクション検証を促進する。

提案手法

• 複数のクライアント API およびデータストアタイプをサポートするプラグインアーキテクチャを設計し、多様なシステム間で一貫したベンチマークを実現する。
• 実行時における動的設定更新を実装し、アクティブなベンチマーク中でもワークロードやパrameter のリアルタイム変更を可能にする。
• Netflix のクラウドエコシステム（サービスディスcovery に Eureka、設定管理に Archaius、メトリクス収集に Spectator）と統合し、本番並みの可観測性を実現する。
• 分散型で継続稼働するベンチマークシステムとして NDBench をデプロイし、アンチエントロピー修復などの長時間のメンテナンスタスクをシミュレート可能にする。
• クラスタ制御、ワークロード監視、レイテンシおよびスループットメトリクスのリアルタイム可視化を可能にする中央集約型 Web UI を構築する。
• 有限のベンチマーク期間を回避することで無限の期間テストを可能とし、メモリリークやヒープ圧力といった長期的問題の検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 実行中のテスト中に動的設定変更をどのようにサポートすることで、現実の障害シナリオをシミュレートできるか？
• RQ2 継続的・長時間のマイクロサービスおよびデータストアのパフォーマンステストを、現実的な障害状態下で実現するためのアーキテクチャパターンは何か？
• RQ3 運用に影響を与えることなく、クラウドネイティブでマイクロサービスベースの本番環境にベンチマークツールを統合する方法は何か？
• RQ4 さまざまなワークロード下での分散型データストアにおいて、長時間のメンテナンス操作（例：コンパクション、リペア）がパフォーマンスに与える影響は何か？
• RQ5 一元的で拡張可能なベンチマークフレームワークとして、プラグイン対応のクライアント API と一貫したメトリクス収集を実現する方法は何か？

主な発見

• NDBench は、長時間にわたるベンチマーク実行中にパフォーマンスの低下や長期的問題（メモリリーク、ヒープ圧力など）を正常に特定した。
• 実行時における設定変更と継続的モニタリングにより、障害シミュレーション中におけるシステム不安定状態の検出時間を短縮した。
• Netflix のクラウドスタック（例：Spectator、Eureka）との統合により、本番に近い可観測性が実現され、リージョン間でのシームレスなデプロイが可能になった。
• NDBench の動的設定機能により、システムメンテナンス中のレイテンシ低下が検出された。例として、DynamoDB に DAX を使用した際、50パーセンタイルレイテンシが 3.98ms から 0.79ms に低下した。
• 新しいデータストアのデプロイおよびシステムアップグレードの自動テストを支援し、プレプロダクションリスクを低減するとともにリリースの信頼性を向上させた。
• 中央集約型 UI を通じて、複数のベンチマークインスタンスの効率的管理と、さまざまなワークロードおよび障害モードにおけるパフォーマンスメトリクスのリアルタイム可視化が可能になった。