[論文レビュー] LogGPT: Exploring ChatGPT for Log-Based Anomaly Detection

Jiaxing Qi, Shaohan Huang+4 more|arXiv (Cornell University)|Sep 3, 2023

Software System Performance and ReliabilityComputer Science被引用数 3

ひとこと要約

LogGPT は、ログ前処理、タスク固有のプロンプト設計、応答パーサーを組み合わせることで、ChatGPT を活用したログベースの異常検出のための新規フレームワークを提案する。BGL および Spirit データセットにおいて、ゼロショットおよびフェイントショットの性能が高く、解釈可能性も優れているが、誤検出とプロンプトへの感受性という課題を抱えている。

ABSTRACT

The increasing volume of log data produced by software-intensive systems makes it impractical to analyze them manually. Many deep learning-based methods have been proposed for log-based anomaly detection. These methods face several challenges such as high-dimensional and noisy log data, class imbalance, generalization, and model interpretability. Recently, ChatGPT has shown promising results in various domains. However, there is still a lack of study on the application of ChatGPT for log-based anomaly detection. In this work, we proposed LogGPT, a log-based anomaly detection framework based on ChatGPT. By leveraging the ChatGPT's language interpretation capabilities, LogGPT aims to explore the transferability of knowledge from large-scale corpora to log-based anomaly detection. We conduct experiments to evaluate the performance of LogGPT and compare it with three deep learning-based methods on BGL and Spirit datasets. LogGPT shows promising results and has good interpretability. This study provides preliminary insights into prompt-based models, such as ChatGPT, for the log-based anomaly detection task.

研究の動機と目的

• 大規模言語モデル（ChatGPT など）をログベースの異常検出に用いることの実現可能性と有効性を検討すること。
• 高次元データ、クラス不均衡、モデルの解釈可能性といったログ異常検出の課題に対処すること。
• 一般ドメインの LLM からシステムログ解析へ知識を転送するプロンプトベースのフレームワークを設計すること。
• LogGPT の性能と解釈可能性を、既存のディープラーニングベースラインと比較して評価すること。

提案手法

• ログ前処理は、生ログメッセージのフィルタリング、パース、グループ化を行い、モデル入力用の構造化されたシーケンスに変換する。
• プロンプト構築では、ターゲットタスクに特化した指示と、人間の知識のインジェクション（例：正常ログの例）を用いて、ChatGPT の異常検出行動を誘導する。
• 応答パーサーは、ChatGPT の出力を抽出・解釈し、ログを正常または異常と分類する。
• このフレームワークはゼロショットまたはフェイントショット設定で動作し、ファインチューニングなしにコンテキスト内学習に依存する。
• ウィンドウサイズは、モデルに入力されるログシーケンスのコンテキスト長を制御するために用いられる。
• 性能は、BGL および Spirit データセットで標準的な指標（F1スコア、AUC）を用いて評価される。

Figure 2: The framework of LogGPT to perform log-based anomaly detection.

実験結果

リサーチクエスチョン

• RQ1 ChatGPT はゼロショットおよびフェイントショット設定において、ログベースの異常検出にどの程度の能力を発揮するか？
• RQ2 特にタスクの説明や正常ログの例のインジェクションといったプロンプト設計が、検出性能にどのように影響するか？
• RQ3 ウィンドウサイズは、LogGPT フレームワークの性能にどのように影響するか？
• RQ4 LogGPT が検出した異常はどの程度解釈可能であり、実行可能なインサイトを提供できるか？

主な発見

• プロンプト構築が性能に顕著な影響を与え、より明確なタスク説明と正常ログの例の挿入が検出精度の向上に寄与する。
• 大きなウィンドウサイズは一般的に性能を向上させ、より長いコンテキストが異常検出能力の向上に寄与することを示している。
• LogGPT は、DeepLog、LogAnomaly、LogRobust などのディープラーニングベースラインと比較しても、BGL および Spirit データセットで競争力のある性能を発揮している。
• LogGPT は、検出された異常について、根本原因分析や予防策の提案を含む詳細な説明を提供することで、強力な解釈性を示している。
• 強力な性能にもかかわらず、LogGPT は高い誤検出率を示しており、しばしば正常なログシーケンスを異常と誤検出する。
• モデルはプロンプトの変化に感受性が高く、ChatGPT の幻覚現象により、信頼性の低いまたは誤った出力が生じる可能性がある。

Figure 3: An example of log parsing .