[論文レビュー] Log-based Anomaly Detection based on EVT Theory with feedback

Jinyang Liu, Junjie Huang+7 more|arXiv (Cornell University)|Jun 8, 2023

Software System Performance and Reliability被引用数 4

ひとこと要約

ScaleAD は、クラウドシステムにおけるリアルタイムでリソースを最小限に抑えた異常検出を実現する軽量で適応型のログベース異常検出フレームワークである。Trie 構造を用いた検出エージェント（TDA）を採用し、人間の専門家や大規模言語モデル（LLM）からのフィードバックを統合することで、ログの変化に対しても高い精度を維持する。従来手法に比べ、2倍から10倍の高速な推論速度と、5% から41% の低いメモリ使用量を達成する。

ABSTRACT

System logs play a critical role in maintaining the reliability of software systems. Fruitful studies have explored automatic log-based anomaly detection and achieved notable accuracy on benchmark datasets. However, when applied to large-scale cloud systems, these solutions face limitations due to high resource consumption and lack of adaptability to evolving logs. In this paper, we present an accurate, lightweight, and adaptive log-based anomaly detection framework, referred to as SeaLog. Our method introduces a Trie-based Detection Agent (TDA) that employs a lightweight, dynamically-growing trie structure for real-time anomaly detection. To enhance TDA's accuracy in response to evolving log data, we enable it to receive feedback from experts. Interestingly, our findings suggest that contemporary large language models, such as ChatGPT, can provide feedback with a level of consistency comparable to human experts, which can potentially reduce manual verification efforts. We extensively evaluate SeaLog on two public datasets and an industrial dataset. The results show that SeaLog outperforms all baseline methods in terms of effectiveness, runs 2X to 10X faster and only consumes 5% to 41% of the memory resource.

研究の動機と目的

• 大規模クラウドシステムにおける既存のログベース異常検出手法の限界、特に高いリソース消費とログの変化への脆弱な適応性を解決すること。
• 1CPUコア、1インスタンスあたり200MBメモリといった厳しいリソース制約下でも、高い検出精度を維持するシステムを設計すること。
• 頻繁なソフトウェア更新に伴い生じるログパターンの変化に柔軟に対応できる継続的適応を可能にすること。
• 手動ラベル付けの負荷を軽減するために、大規模言語モデル（例：ChatGPT）を専門家フィードバックのソースとして使用する可能性を検討すること。
• 数千のクラウドインスタンスにスケーラブルかつ効率的に展開可能なソリューションを開発すること。

提案手法

• リアルタイムでの異常ログパターンの効率的インデックス化と検出を実現するため、軽量で動的に成長するTrie構造を用いたTrieベース検出エージェント（TDA）を提案する。
• ログ頻度の尾部分布をモデル化するために極値理論（EVT）を適用し、まれなまたは異常なログイベントの検出を強化する。
• 専門家がラベル付けした異常をフィードバックとして活用し、TDAの検出論理を継続的に改善することで、精度の向上を図るフィードバックループを統合する。
• ログの意味的類似度を評価し、異常予測の妥当性を検証するために、大規模言語モデル（LLM）を自動専門家フィードバックソースとして活用する。
• ストリーミングログ処理を想定し、中央集権的な計算に依存せず、クラウドインスタンス上で直接、低遅延かつイン・ステージでの検出を可能にする。
• 逐次的Trie更新とEVTに基づくしきい値設定により、TDAのメモリおよび計算リソース使用量を最適化し、最小限のリソースオーバーヘッドを実現する。

実験結果

リサーチクエスチョン

• RQ1 CPUとメモリが限られた環境下でも、インスタンス内での軽量な異常検出システムが、実世界のクラウド環境で高い精度を達成できるか？
• RQ2 特にLLMからのフィードバックが、人間の専門家との比較において、異常検出精度の向上にどの程度効果的か？
• RQ3 ログ頻度の尾部をEVTでモデル化することで、進化を続けるログストリームにおけるレアまたは新規の異常の検出がどの程度向上するか？
• RQ4 従来の機械学習および深層学習ベースのログ異常検出手法と比較して、提案手法のTDAベースアプローチは、速度およびメモリ効率の面でどの程度スケーラブルか？
• RQ5 ソフトウェアリリースサイクルなど、ログパターンが顕著に変化する状況下でも、システムは高いパフォーマンスを維持できるか？

主な発見

• ScaleAD は、2つの公開データセットおよび Huawei Cloud からの産業用データセットにおいて、F1スコアが 0.908 から 0.990 の間で推移し、高い検出精度を示した。
• ベースライン手法に比べ、2倍から10倍の高速な推論速度を達成し、リアルタイムログ処理における推論速度の向上が顕著に見られた。
• ScaleAD は、既存手法に比べて使用メモリを 5% から 41% にまで削減し、リソース制約のあるクラウドインスタンスへの展開に適している。
• ChatGPT などのLLMからのフィードバックは、人間の専門家と同等の異常検出の一貫性を達成し、手動での検証の必要性を低減した。
• ログパターンが進化しても、平均して20マイクロサービスシステムでは月間14.5%のログが新規となる中で、85%のログペアが低い意味的類似度を示す中でも、高い精度を維持した。
• TDAとフィードバック駆動の適応機構の組み合わせにより、進化を続けるログに対して持続的なパフォーマンスを発揮し、静的モデルや完全に非教師ありの深層学習アプローチを上回った。