[論文レビュー] StreamShield: A Production-Proven Resiliency Solution for Apache Flink at ByteDance

Yong Fang, Yuxing Han+4 more|arXiv (Cornell University)|Feb 3, 2026

Software System Performance and Reliability被引用数 0

ひとこと要約

StreamShieldはByteDanceのApache Flinkクラスター向けの本番運用で検証済みのレジリエンシー解決策であり、エンジンレベル、クラスターレベル、リリースレベルの技術を導入して故障耐性、安定性、展開効率を向上させ、 production-scale 評価を行う。

ABSTRACT

Distributed Stream Processing Systems (DSPSs) form the backbone of real-time processing and analytics at ByteDance, where Apache Flink powers one of the largest production clusters worldwide. Ensuring resiliency, the ability to withstand and rapidly recover from failures, together with operational stability, which provides consistent and predictable performance under normal conditions, is essential for meeting strict Service Level Objectives (SLOs). However, achieving resiliency and stability in large-scale production environments remains challenging due to the cluster scale, business diversity, and significant operational overhead. In this work, we present StreamShield, a production-proven resiliency solution deployed in ByteDance's Flink clusters. Designed along complementary perspectives of the engine and cluster, StreamShield introduces key techniques to enhance resiliency, covering runtime optimization, fine-grained fault-tolerance, hybrid replication strategy, and high availability under external systems. Furthermore, StreamShield proposes a robust testing and deployment pipeline that ensures reliability and robustness in production releases. Extensive evaluations on a production cluster demonstrate the efficiency and effectiveness of techniques proposed by StreamShield.

研究の動機と目的

• ByteDanceの大規模 Flink 展開におけるレジリエンシーと運用の安定性課題に対処する。
• recovery speed、負荷分散、展開効率を改善するエンジンレベル・クラスターレベル・リリースレベルの技術を開発する。
• 多様なワークロードに対してSLO遵守を維持しつつ回復オーバーヘッドを最小化する。
• ロ rollout前にレジリエンシーを検証する本番検証済みパイプラインを提供する。

提案手法

• エンジンレベルのレジリエンシー：適応型ランタイム最適化と細粒度の故障耐性機構。
• グループ・ロード認識のデータ再分配戦略（Adaptive Shuffle：バックログベースのシャッフルおよびGroup-Rescale）。
• WeakHashパーティショニングでホットキーを拡散しスキューを低減。
• DS2に触発されたオートスケーリングと安定性・安全性のための強化。
• 細粒度の故障耐性：リージョンチェックポイント、単一タスクの回復、State LazyLoad。
• ジョブ開始の加速化：解析/状態共有の最適化、タスクデプロイメントのバッチ処理、スロー開始対応、HotUpdate。
• 高可用性構築：ハイブリッドレプリケーション（アクティブ/パッシブ）と依存関係を考慮した故障耐性。

Figure 1 : The Architecture of Apache Flink.

実験結果

リサーチクエスチョン

• RQ1 本番スケールのFlink展開において異種ワークロードでレジリエンシーをどのように強化できるか。
• RQ2 エンジン・クラスタ・リリースレベルの技術が回復遅延、データの完全性、障害およびバックプレッシャー下の運用オーバーヘッドをどう改善するか。
• RQ3 細粒度の故障耐性機構は正確性を損なうことなく回復範囲と遅延を低減できるか。
• RQ4 大規模ByteDanceクラスターで stringentなSLOを満たすための展開・起動オーバーヘッドをどう削減できるか。
• RQ5 外部依存性の頑健性はFlinkのレジリエンシーと可用性の維持にどのような役割を果たすか。

主な発見

• StreamShieldは設計済みランタイム最適化と細粒度の回復機構を通じて本番スケールのレジリエンシー改善を示す。
• ハイブリッドレプリケーション戦略は回復遅延とオーバーヘッドのバランスを取りつつ、外部依存性への耐性を高める。
• リージョンチェックポイント、単一タスク回復、State LazyLoadは大規模で状態を持つジョブにおける回復範囲と停止時間を削減。
• バックログベースのシャッフルとGroup-Rescaleは負荷分散を改善し異種クラスターでのバックプレッシャー影響を緩和。
• オートスケーリングの強化とHotUpdateは起動・再起動時間を短縮し、より厳しいSLO遵守をサポート。
• 混沌テストとベンチマークを用いた堅牢なリリースパイプラインが本番展開前のレジリエンシーを検証する。

Figure 3 : Original v.s. Region Checkpointing.