[論文レビュー] Finding Needles in the Haystack: Harnessing Syslogs for Data Center Management

Chen Liang, Theophilus Benson+2 more|arXiv (Cornell University)|May 19, 2016

Software System Performance and Reliability参考文献 23被引用数 5

ひとこと要約

本稿では、統計的手法とプロトコル固有のドメインモデルを用いて、データセンターネットワークからの非構造的syslogメッセージを自動的に分析し、因果関係を有する問題グラフ（PG）を構築するLog-Prophetというシステムを提案する。これにより、アラートノイズを顕著に低減し、根本原因および連鎖的障害の正確な診断が可能になる。主な貢献は、数百万行のsyslogを管理可能な13種類の固有のPGに要約するスケーラブルなフレームワークを提供することであり、ネットワークレイヤー全体にわたる運用パターンを明らかにする。

ABSTRACT

Network device syslogs are ubiquitous and abundant in modern data centers with most large data centers producing millions of messages per day. Yet, the operational information reflected in syslogs and their implications on diagnosis or management tasks are poorly understood. Prevalent approaches to understanding syslogs focus on simple correlation and abnormality detection and are often limited to detection providing little insight towards diagnosis and resolution. Towards improving data center operations, we propose and implement Log-Prophet, a system that applies a toolbox of statistical techniques and domain-specific models to mine detailed diagnoses. Log-Prophet infers causal relationships between syslog lines and constructs succinct but valuable problem graphs, summarizing root causes and their locality, including cascading problems. We validate Log-Prophet using problem tickets and through operator interviews. To demonstrate the strength of Log-Prophet, we perform an initial longitudinal study of a large online service provider's data center. Our study demonstrates that Log-Prophet significantly reduces the number of alerts while highlighting interesting operational issues.

研究の動機と目的

• データセンター運用において、その高頻度と診断可能性の高さにもかかわらず、syslogデータが十分に活用されていないという問題に対処すること。
• ソースコードや単純な相関に依存する従来のログ分析ツールでは、閉鎖型のネットワーク機器に対しては有効でないという限界を克服すること。
• 因果関係を推論できるスケーラブルでドメインに配慮したシステムを構築し、根本原因の診断と解決を支援すること。
• 大規模データセンターの7か月間の本番トラフィックから得た実世界のデータを用いて、システムの有効性を検証すること。

提案手法

• Log-Prophetは、非構造的syslogメッセージにパターンを検出するために統計的手法を適用し、プロトコル固有のモデル（例：OSPF、ルーティング）を活用して因果関係を推定する。
• 問題グラフ（PG）を構築し、デバイスおよびネットワークレイヤー全体にわたるイベントの順序と因果関係を表現する。
• 類似したPGをクラスタリングと手動検査により22種類の高レベルなタイプにグループ化し、繰り返し発生する障害パターンの分類と抽象化を可能にする。
• ネットワーキングプロトコルのドメイン知識を統合して統計的分析を支援することで、精度を向上させ、誤検出を低減する。
• プロトタイプは5,000台を超えるデバイスから得た7か月間のsyslogデータを処理し、数百万件のメッセージを156クラスにまたがる4,264件のPGインスタンスにマッピングした。
• ToR、AGG、MBなどのネットワークレイヤーにわたりPGを評価し、障害の分布、継続時間、レイヤー間での伝播を分析する。

実験結果

リサーチクエスチョン

• RQ1 非構造的でベンダー固有のsyslogを、データセンターネットワークで実行可能な因果関係の診断に変換するにはどうすればよいか？
• RQ2 syslogメッセージ間の因果関係を体系的に抽出することで、どのような障害伝播のパターンが浮き彫りになるか？
• RQ3 障害の特性と発生頻度は、異なるネットワークレイヤー（例：ToR、AGG、ミドルボックス）でどのように異なるか？
• RQ4 少数の代表的問題グラフ（PG）が、本番環境のデータセンターネットワークにおける膨大な量のsyslogデータをどの程度要約できるか？

主な発見

• Log-Prophetは、数億行に及ぶsyslogをわずか13種類の固有の問題グラフ（PG）に要約し、顕著なデータ要約化とノイズ低減を実現した。
• 全PGの93％以上がToRレイヤーで発生しており、コアまたは集約レイヤーと比較して、コンsumer ToRデバイスの障害率が高いためである。
• ミドルボックス（MB）レイヤーでは、仮想IP移行、ルーティング問題、ハードウェア障害の3種類のPGが支配的であり、ロードバランサは明確に異なる障害パターンを示した。
• syslog行数とPGの継続時間の間に直接相関は認められず、ログの量が問題の深刻さや継続時間の良い指標ではないことが示された。
• 連鎖的障害が頻繁に観察された。ToRデバイスのインターフェース障害が、隣接するAGGデバイスのOSPFルーティングプロトコルにまで影響を及ぼした。
• 本システムは、ベンダーおよびファームウェアバージョンを問わず、繰り返し発生する高レベルの障害パターンを特定し、手動検査とクラスタリングによりクロスベンダー分類を可能にした。