[論文レビュー] Decreasing log data of multi-tier services for effective request tracing

Bo Sang, Jianfeng Zhan+1 more|arXiv (Cornell University)|Mar 4, 2010

Software System Performance and Reliability参考文献 2被引用数 3

ひとこと要約

本論文は、リクエストトレーシング中に価値のない因果パスをフィルタリングすることにより、マルチティアーサービスアーキテクチャにおける冗長なログデータを削減する新しいアルゴリズムを提案する。非情報性のログを特定・削除することで、ログ量を84%削減し、デバッグの有効性を損なわず、大規模データセンターにおけるスケーラビリティと効率性を顕著に向上させる。

ABSTRACT

Previous work shows request tracing systems help understand and debug the performance problems of multi-tier services. However, for large-scale data centers, more than hundreds of thousands of service instances provide online service at the same time. Previous work such as white-box or black box tracing systems will produce large amount of log data, which would be correlated into large quantities of causal paths for performance debugging. In this paper, we propose an innovative algorithm to eliminate valueless logs of multitiers services. Our experiment shows our method filters 84% valueless causal paths and is promising to be used in large-scale data centers.

研究の動機と目的

• 10万〜100万のサービスインスタンスを有する大規模なマルチティアーサービスにおけるリクエストトレーシングのスケーラビリティ課題に対処すること。
• 従来のホワイトボックスおよびブラックボックストレーシングシステムが生成するログデータ量を削減すること。
• パフォーマンスデバッグに寄与しない価値のない因果パスを排除すること。
• 生産環境のデータセンターにおけるリクエストトレーシングの効率性と有効性を向上させること。
• 分散システムにおけるスケーラブルで低オーバーヘッドなパフォーランスデバッグを可能にすること。

提案手法

• 提案されたアルゴリズムは、サービスティア間のリクエストフローを分析し、因果パス再構築に寄与しないログを同定・フィルタリングする。
• 依存関係および実行コンテキストの分析を活用し、情報性のあるログエントリと冗長なログエントリを区別する。
• 因果パスの関連性に基づく pruning 戦略を適用し、診断的インサイトを提供しないパスを削除する。
• パス相関およびフィルタリングに必要な最小限のメタデータ収集を可能にする軽量インストルメンテーションを用いる。
• リアルタイムに動作し、サービス実行中にログ量を即座に削減可能である。
• アーキテクチャの大幅な見直しが不要な形で、既存のトレーシングインfraに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 大規模なマルチティアーサービスにおいて、必須のデバッグ情報の損失なしにログデータ量をどのように削減できるか。
• RQ2 リクエストトレーシングにおいて、価値のない因果パスを同定・削除するためにどのような基準を用いることができるか。
• RQ3 エンドツーエンドのリクエストトレーサビリティを保つ限り、どれほど冗長なログをフィルタリングできるか。
• RQ4 軽量でスケーラブルなアルゴリズムが、生産環境のデータセンターにおけるログオーバーヘッドを効果的に削減できるか。
• RQ5 ログ削減がパフォーマンスデバッグの正確性と完全性に与える影響は何か。

主な発見

• 提案手法は、マルチティアーサービス環境において84%の価値のない因果パスをフィルタリングする。
• ログデータの削減により、大規模な展開におけるストレージおよび処理オーバーヘッドが顕著に低減される。
• 関連する診断パスのみを保持することで、リクエストトレーシングの高忠実度を維持する。
• 最小限のパフォーマンス影響で、リアルタイムの生産環境設定でも効果的に機能する。
• 既存の分散トレーシングシステムへの統合可能性に強く期待できる。
• 結果から、マルチティアーサービスにおける収集ログの大部分がデバッグに寄与していないことが示され、フィルタリングが極めて有効であることが明らかになった。