[論文レビュー] Log-based Anomaly Detection Without Log Parsing

Van-Hoang Le, Hongyu Zhang|arXiv (Cornell University)|Aug 4, 2021

Software System Performance and Reliability参考文献 54被引用数 4

ひとこと要約

NeuralLogは、ログパースを回避するためのログベースの異常検出手法を提案する。この手法は、BERTを用いて生ログメッセージを意味的ベクトルに直接符号化し、その後、変換器ベースの分類器を適用して異常を検出する。4つの公開データセットでF1スコア0.95以上を達成し、OOV語の誤りや意味理解の誤りに起因するエラーを排除することで、従来のパース依存型手法を上回る性能を発揮する。

ABSTRACT

Software systems often record important runtime information in system logs for troubleshooting purposes. There have been many studies that use log data to construct machine learning models for detecting system anomalies. Through our empirical study, we find that existing log-based anomaly detection approaches are significantly affected by log parsing errors that are introduced by 1) OOV (out-of-vocabulary) words, and 2) semantic misunderstandings. The log parsing errors could cause the loss of important information for anomaly detection. To address the limitations of existing methods, we propose NeuralLog, a novel log-based anomaly detection approach that does not require log parsing. NeuralLog extracts the semantic meaning of raw log messages and represents them as semantic vectors. These representation vectors are then used to detect anomalies through a Transformer-based classification model, which can capture the contextual information from log sequences. Our experimental results show that the proposed approach can effectively understand the semantic meaning of log messages and achieve accurate anomaly detection results. Overall, NeuralLog achieves F1-scores greater than 0.95 on four public datasets, outperforming the existing approaches.

研究の動機と目的

• ログパースの誤り（特にOOV語や意味理解の誤り）が、異常検出性能に与える悪影響を調査すること。
• ログパースに依存しないアプローチを構築し、意味的整合性を保ち、パースに起因する情報損失を回避すること。
• BERTのような事前学習済み言語モデルを活用し、生ログメッセージから文脈的・意味的表現を直接抽出すること。
• 変換器を用いたシーケンス認識分類モデルを設計し、事前のイベントテンプレート作成なしに意味的ログシーケンスに基づいて異常を検出すること。
• 実世界のデータセットを用いて提案手法を検証し、パース依存型の最先端手法と比較して優れた性能を示すこと。

提案手法

• 生ログメッセージを意味的ベクトルに符号化するために、WordPieceトークン化を用いたBERTを活用し、ログパースを必要とせずにOOV語を効果的に処理する。
• 各生ログメッセージをトークンのシーケンスとして扱い、事前学習済みBERTモデルを用いて文脈を反映した埋め込みを抽出することで、意味的意味を保持する。
• 固定またはスライディングウィンドウを用いた時間的グルーピングにより、異常検出モデルの入力シーケンスとしてログシーケンスを構築する。
• マルチヘッド自己注意機構を備えた変換器ベースの分類器を用い、ログシーケンス間の長距離依存関係や文脈的関係をモデル化する。
• 教師あり学習によりエンドツーエンドでモデルを訓練し、意味的表現における学習済みパターンに基づいて異常を特定する。
• ログテンプレート抽出やイベントインデックスのいずれの形式に対しても依存せず、パースエラーを完全に排除し、完全な意味的文脈を保持する。

Figure 1: An Example of HDFS Logs and Parsed Results

実験結果

リサーチクエスチョン

• RQ1 ログパースにおけるOOV語や意味理解の誤りが、既存のログベース異常検出手法の性能にどの程度悪影響を及えるか？
• RQ2 ログパースなしで生ログメッセージを直接処理する深層学習モデルは、パース依存型手法よりも優れた異常検出性能を達成できるか？
• RQ3 BERTベースの意味的符号化は、異常検出に適したログメッセージの文脈的・意味的意味をどの程度正確に保持できるか？
• RQ4 生ログ埋め込みに基づいて訓練された変換器ベース分類器は、パース済みログイベントに依存するモデルよりも、システムの異常を効果的に検出できるか？
• RQ5 提案手法は、補助データや手動でのテンプレート設計を一切不要として、多様な実世界のログデータセットに一般化可能か？

主な発見

• 実証的分析により、ログパースの誤り（特にOOV語や意味的誤解）が、既存の異常検出モデルの性能を顕著に低下させることを明らかにした。
• NeuralLogは、4つの公開ベンチマークデータセットすべてでF1スコア0.95以上を達成し、ログパースなしで高い検出精度を示した。
• LogRobust、LogAnomaly、DeepLogといった最先端のパース依存型手法よりも優れた性能を示した。これらの手法はパースの不正確さに敏感であることが判明した。
• 生ログにBERTを用いることで、NeuralLogは、稀なまたは未学習のOOV語に対しても意味的意味や文脈的関係を効果的に捉えることができた。
• 意味的ベクトル上でエンドツーエンドで訓練された変換器分類器により、ログテンプレート抽出や外部データの必要なしに、堅牢な異常検出が可能になった。
• パース処理に計算コストがかかるための回避と、事前学習済み言語表現の直接的活用により、本手法は効率的かつスケーラブルである。

Figure 2: An Example of Log Sequence, and Log Count Vector