[論文レビュー] A Large-Scale Evaluation for Log Parsing Techniques: How Far Are We?

Zhihan Jiang, Jinyang Liu+7 more|arXiv (Cornell University)|Aug 21, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、14のアノテート済みログコレクション（平均360万行）から構成される大規模かつ現実世界を想定したデータセットLoghub-2.0を紹介し、15種類の最先端ログパーサーの厳密な評価を実施する。クラス不均衡の問題を解消するための新しいテンプレートレベルの指標を提案し、特にレアでパラメータを多く含むログテンプレートに対して、既存のパーサーに顕著な性能ギャップが存在することを明らかにした。これは、実運用環境におけるパーサー設計の改善が不可欠であることを示唆している。

ABSTRACT

Log data have facilitated various tasks of software development and maintenance, such as testing, debugging and diagnosing. Due to the unstructured nature of logs, log parsing is typically required to transform log messages into structured data for automated log analysis. Given the abundance of log parsers that employ various techniques, evaluating these tools to comprehend their characteristics and performance becomes imperative. Loghub serves as a commonly used dataset for benchmarking log parsers, but it suffers from limited scale and representativeness, posing significant challenges for studies to comprehensively evaluate existing log parsers or develop new methods. This limitation is particularly pronounced when assessing these log parsers for production use. To address these limitations, we provide a new collection of annotated log datasets, denoted Loghub-2.0, which can better reflect the characteristics of log data in real-world software systems. Loghub-2.0 comprises 14 datasets with an average of 3.6 million log lines in each dataset. Based on Loghub-2.0, we conduct a thorough re-evaluation of 15 state-of-the-art log parsers in a more rigorous and practical setting. Particularly, we introduce a new evaluation metric to mitigate the sensitivity of existing metrics to imbalanced data distributions. We are also the first to investigate the granular performance of log parsers on logs that represent rare system events, offering in-depth details for software diagnosis. Accurately parsing such logs is essential, yet it remains a challenge. We believe this work could shed light on the evaluation and design of log parsers in practical settings, thereby facilitating their deployment in production systems.

研究の動機と目的

• Loghub-2kのような既存のログパーサー評価ベンチマークは、規模が小さく、現実のログ分布の代表性に欠けるという限界を是正するため。
• 生産環境のログデータのスケールと多様性をよりよく反映する、大規模で現実的なデータセット（Loghub-2.0）を構築するため。
• クラス不均衡に起因するバイアスを低減するための新しい評価プロトコルを提案し、特にテンプレートレベルのF1スコアという指標を導入する。
• レアでパラメータを多く含むログテンプレートにおける最先端のログパーサーの性能を包括的に評価し、システム診断に不可欠な要因を特定する。
• 現在のログパーサーにおける主な欠陥、特に効率性と複雑なログパターンの処理能力に焦点を当て、今後の研究を導くため。

提案手法

• 14の実世界システムにおけるログテンプレートとパラメータのラベル付けの高精度・一貫性を確保するため、5名の経験豊富な研究者が参加する厳格なアノテーションフレームワークを設計。
• 14のログコレクションを含み、合計5000万行を超えるログラインを有する、Loghub-2.0と呼ばれる新規ベンチマークデータセットを構築。各データセットは実世界のシステム特性を反映している。
• クラス不均衡に起因するバイアスを低減する新しい評価指標「テンプレートレベルF1スコア」を提案。これは、まれなテンプレートにおけるパーサー性能の正確な評価を可能にする。
• 統一されたベンチマークプロトコルを実装し、パーサーの評価を複数の次元で行う：全体の正確性、まれなテンプレートにおける性能、パラメータを多く含むテンプレートにおける性能、および効率性。
• Loghub-2.0を用いて、15種類の最先端ログパーサーを大規模に再評価。すべてのツールでハイパーパrameterチューニングと一貫した実装を実施。
• ログの出現頻度やパラメータ数といった異なるログ特性におけるパーサーの挙動を分析し、隠れた性能問題を特定。

実験結果

リサーチクエスチョン

• RQ1 既存のログパーサーは、Loghub-2kで報告された結果とは対照的に、大規模で現実世界のログデータにおいてどの程度の性能を示すのか？
• RQ2 現在のログパーサーは、システム診断に不可欠なレアなログテンプレートやパラメータを多く含むログパターンに対して、どの程度困難を抱えているのか？
• RQ3 提案されたテンプレートレベルF1指標は、ログパーサー評価におけるクラス不均衡に起因するバイアスをどの程度効果的に低減できるのか？
• RQ4 現在のログパーサーは、大規模な生産環境において、特に効率性とエッジケースにおける正確性の観点から、どのような主なパフォーマンスボトルネックを抱えているのか？
• RQ5 今後のログパーサー技術は、現実世界のシステムにおけるレアで複雑なログパターンをよりよく処理できるように、どのように改善されるべきか？

主な発見

• Drain、Logram、LogPPTといった最先端のログパーサーでさえ、Loghub-2kでの高い性能とは対照的に、特にエラーまたは致命的レベルのレアなログテンプレートでは顕著に性能が低下している。
• パラメータを10個以上含むテンプレートでは、一部のパーサーがF1スコア50％未満にとどまるなど、複雑なログ構造の処理における大きなギャップが明らかになった。
• 提案されたテンプレートレベルF1指標は、クラス不均衡に起因するバイアスを効果的に低減し、従来のメッセージレベル指標では見えにくかった性能差を明らかにした。
• 多くのパーサーは現実の効率性要件を満たしておらず、特に高スループットのログストリーム処理において、許容可能なしきい値を超える処理時間を要している。
• 意味ベースのパーサーは、パラメータとテンプレートを区別する能力に優れているが、グローバルな文脈の欠如によりグループ化能力に弱さを示しており、統計的および意味的情報を統合する必要がある。
• 本研究では、現在のログパーサーが、とりわけレアで複雑なシステムイベントの診断に最適化されていないことが判明。パーサー設計のパラダイム転換が求められる。