[論文レビュー] Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models

Harold Ott, Jasmin Bogatinovski+3 more|arXiv (Cornell University)|Feb 23, 2021

Software System Performance and Reliability参考文献 14被引用数 7

ひとこと要約

本論文は、事前学習された言語モデル（例：BERT、GPT-2、XL-Net）を用いて意味的特徴を持つログベクトル埋め込みを生成することで、頑健で転送可能なログ異常検出のプラグアンドプレイフレームワークを提案する。トランスファーラーニングと文脈に依存する表現を活用することで、ソフトウェア更新に伴うログメッセージの変更に対しても高い性能と耐性を発揮し、従来のテンプレートベースのアプローチに比べて、進化するシステムログにおいて精度と一般化性能の両面で優れている。

ABSTRACT

Anomalies or failures in large computer systems, such as the cloud, have an impact on a large number of users that communicate, compute, and store information. Therefore, timely and accurate anomaly detection is necessary for reliability, security, safe operation, and mitigation of losses in these increasingly important systems. Recently, the evolution of the software industry opens up several problems that need to be tackled including (1) addressing the software evolution due software upgrades, and (2) solving the cold-start problem, where data from the system of interest is not available. In this paper, we propose a framework for anomaly detection in log data, as a major troubleshooting source of system information. To that end, we utilize pre-trained general-purpose language models to preserve the semantics of log messages and map them into log vector embeddings. The key idea is that these representations for the logs are robust and less invariant to changes in the logs, and therefore, result in a better generalization of the anomaly detection models. We perform several experiments on a cloud dataset evaluating different language models for obtaining numerical log representations such as BERT, GPT-2, and XL. The robustness is evaluated by gradually altering log messages, to simulate a change in semantics. Our results show that the proposed approach achieves high performance and robustness, which opens up possibilities for future research in this direction.

研究の動機と目的

• 頻繁なソフトウェア更新とログの進化が続く大規模システムにおけるログ異常検出の課題に対処すること。
• ログの意味的シフトやソフトウェアアップグレードに伴い失敗する、テンプレートベースおよびキーワードマッチング手法の限界を克服すること。
• 未観測のログパターンに一般化できるように事前学習された言語モデルを活用することで、異常検出におけるコールドスタート問題を軽減すること。
• 異なる事前学習された言語モデルと学習目的（回帰対比分類）がログ表現学習に与える効果を評価すること。
• ソフトウェア更新や前処理ノイズに起因するログメッセージの変更に対しても、高い性能を維持できる転送可能なフレームワークを構築すること。

提案手法

• 一般向けの事前学習された言語モデル（BERT、GPT-2、XL-Net）を用いて、生のログメッセージを意味的特徴を持つ密なベクトル表現に変換する。
• 学習済みの埋め込みを用いて、順序と文脈的依存関係をモデル化するため、Bi-LSTMネットワークを適用する。
• 異常検出モデルの学習に、2つの学習目的を適用する：(1) ログ埋め込みの再構築を目的とする回帰、(2) 正常と異常のログシーケンスを区別する分類。
• ソフトウェア更新後の新しいログ分布に適応するため、過去のログデータから得た知識を再利用するモデル転送戦略を実装する。
• 系統的にログメッセージを変更する（例：同義語置換、再順序化）ことでデータ拡張を実施し、現実世界の変更を模擬し、耐性を評価する。
• 数値指標（適合率、再現率、F1スコア）を用いて、ログメッセージの変更度合いや学習目的の変化に応じた性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる事前学習された言語モデル（BERT、GPT-2、XL-Net）は、異常検出に適した効果的なログ埋め込みをどの程度生成できるか？
• RQ2 ログの進化下で、回帰と分類のどちらの学習目的が、より高い性能と耐性を発揮するか？
• RQ3 ソフトウェア更新やログメッセージの変更後に、提案フレームワークが未観測のログパターンにどの程度一般化できるか？
• RQ4 適合率、再現率、F1スコアの観点から、ログメッセージの変更度合い（例：15％の意味的変更）が異なる条件下でのモデルの性能はいかがなものか？
• RQ5 新しいシステムバージョンのログが一切存在しないコールドスタート状況において、フレームワークが誤検出を効果的に低減できるか？

主な発見

• BERTは、回帰・分類の両学習目的においてGPT-2やXL-Netを上回り、特にログメッセージの大幅な変更下でも優れた耐性と一般化性能を示した。
• 分類ベースの学習目的が回帰より高いF1スコア（最高0.81）を達成した。これは、正常と異常のログパターンの分離がより良好であったことを示している。
• B-similarの変更状況（小規模な変更）では、BERTはF1スコア0.75（分類）を維持したが、GPT-2は0.43まで低下した。これはBERTの安定性を示している。
• B-differentの状況（大規模な意味的変更）では、BERTは回帰でF1スコア0.68、分類で0.81を達成し、GPT-2やXL-Netを著しく上回った。
• モデル転送戦略により、ソフトウェア更新後の誤検出が有意に低減され、BERTベースのモデルが変更されたログ分布において最も一貫性のある性能を示した。
• フレームワークはログメッセージの変更に対して強く耐性を示し、すべての条件下でF1スコアが0.6以上を維持した。これは、実運用環境における転送性と耐性の高さを裏付けている。