[論文レビュー] Cast: Automated Resilience Testing for Production Cloud Service Systems

Zhuangbin Chen, Zhiling Deng+5 more|arXiv (Cornell University)|Feb 1, 2026

Software System Performance and Reliability被引用数 0

ひとこと要約

Cast は、製品マイクロサービスシステムの生産トラフィックを包括的なアプリケーションレベルのフォールトライブラリでリプレイし、複雑さ駆動のテスト選択戦略と自動的な多面的検証オラクルによって、耐障害性テストの自動エンドツーエンドフレームワークを提供します。

ABSTRACT

The distributed nature of microservice architecture introduces significant resilience challenges. Traditional testing methods, limited by extensive manual effort and oversimplified test environments, fail to capture production system complexity. To address these limitations, we present Cast, an automated, end-to-end framework for microservice resilience testing in production. It achieves high test fidelity by replaying production traffic against a comprehensive library of application-level faults to exercise internal error-handling logic. To manage the combinatorial test space, Cast employs a complexity-driven strategy to systematically prune redundant tests and prioritize high-value tests targeting the most critical service execution paths. Cast automates the testing lifecycle through a three-phase pipeline (i.e., startup, fault injection, and recovery) and uses a multi-faceted oracle to automatically verify system resilience against nuanced criteria. Deployed in Huawei Cloud for over eight months, Cast has been adopted by many service teams to proactively address resilience vulnerabilities. Our analysis on four large-scale applications with millions of traces reveals 137 potential vulnerabilities, with 89 confirmed by developers. To further quantify its performance, Cast is evaluated on a benchmark set of 48 reproduced bugs, achieving a high coverage of 90%. The results show that Cast is a practical and effective solution for systematically improving the reliability of industrial microservice systems.

研究の動機と目的

• 複雑で非決定論的な障害のため、プロダクショングレードのマイクロサービスシステムにおける耐障害性テストの必要性を動機づける。
• リアルなアプリケーションレベルのフォールトを用いてライブトラフィックをリプレイすることで高忠実度を達成するエンドツーエンドのフレームワークを開発する。
• 冗長なテストを剪定するための複雑さ駆動のテスト選択戦略を通じてスケーラビリティに対応する。
• 三段階パイプラインと多面的検証オラクルを用いてテストライフサイクルを自動化する。
• 華為クラウドの大規模展開と統制されたベンチマーク評価を通じて実世界での有効性を示す。

提案手法

• ダイナミック計測を用いて生産トラフィックを捕捉・リプレイ可能なトレースを作成し、パラメータ化されたダイナミック変数を導入する。
• リクエスト/レスポンスペイロードから状態依存変数を特定する二段階ヒューリスティックを適用し、リプレイ用にプレースホルダへ置換する。
• Drain によるトレースの集約で異なるインターフェースを特定し、ターゲットとなるテスト選択のためにインターフェースごとの複雑度スコアを算出する。
• プラットフォームコンポーネントの例外とサービス間通信エラーをモデリングする拡張可能なフォールトライブラリを構築し、細粒度のエンドポイントへ注入する。
• エンドポイントを (Component, Framework, Method) と定義し、データフローベースの依存パターンを用いてクロスサービスサンプリング、トレース内排除、データフロー優先度付けでテストを剪定する。
• 起動、フォールト注入、回復の三段階パイプラインでテストを実行し、ファイルファスト戦略とバッチテストで起動オーバーヘッドを最小化すると共に、各フェーズとアサーション地点で多面的検証オラクルを適用する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: ダイナミック変数を特定した後、Cast は記録された生産トラフィックをどれだけリプレイ可能にするのか。
• RQ2 RQ2: Cast は生産マイクロサービスシステムにおける耐障害性の脆弱性を自動的に発見する能力をどれほど有するのか。

主な発見

• Cast はダイナミック変数のテンプレート化後、286 件中 291 件のインターフェーストレースをリプレイ可能とし、ナイーブリプレイ時の <80% と比較して 98.3% のリプレイ成功を達成した。
• ダイナミック変数識別法はほとんどのインターフェースで状態依存性を効果的に扱い、手動変数登録が必要な5つのエッジケースを除きうまく機能する。
• 華為クラウドの8か月の展開で、Cast は4つの大規模アプリケーションにわたり137 の潜在的脆弱性を発見し、開発者によって89件が確認された。
• 48 件の再現バグの統制ベンチマークで、Cast は検出カバー率 90% を達成した。
• Cast は産業用マイクロサービス環境における信頼性の体系的向上に対して実用的な有効性を示した。