[論文レビュー] LogBERT: Log Anomaly Detection via BERT

Haixuan Guo, Yuan, Shuhan+1 more|arXiv (Cornell University)|Mar 7, 2021

Software System Performance and Reliability参考文献 24被引用数 7

ひとこと要約

LogBERT は、マスクされたログキーの予測と超球体積の最小化を活用して、正常なシーケンスパターンを学習する自己教師あり BERT ベースのフレームワークを提案する。3つのベンチマークデータセットにおいて最先端の手法を上回り、Thunderbird では F1 スコアが最大 96.64、HDFS では 82.32 を達成する。

ABSTRACT

Detecting anomalous events in online computer systems is crucial to protect the systems from malicious attacks or malfunctions. System logs, which record detailed information of computational events, are widely used for system status analysis. In this paper, we propose LogBERT, a self-supervised framework for log anomaly detection based on Bidirectional Encoder Representations from Transformers (BERT). LogBERT learns the patterns of normal log sequences by two novel self-supervised training tasks and is able to detect anomalies where the underlying patterns deviate from normal log sequences. The experimental results on three log datasets show that LogBERT outperforms state-of-the-art approaches for anomaly detection.

研究の動機と目的

• ログシーケンスにおける双方向的文脈とグローバルなシーケンスパターンを捉えることが RNN ベースのモデルに限界があることに対処する。
• ラベル付き異常データを必要とせず、正常なログパターンを学習する自己教師ありフレームワークを開発する。
• マスクされたログキー予測と超球体積の最小化という2つの新しい事前学習タスクを組み合わせることで、異常検出のパフォーマンスを向上させる。
• 従来のモデルが失敗するような短いまたは複雑なシーケンスであっても、異常なログシーケンスを効果的に検出できるようにする。

提案手法

• 双方向的文脈符号化を可能にする BERT スタイルの Transformer エンコーダーを用いて、ログシーケンスをモデル化する。
• 正常なシーケンス内のランダムにマスクされたログキーを予測するタスクを適用する。
• 埋め込み空間における正常ログシーケンス表現のクラスタリングを目的として、超球体積の最小化を導入する。
• 異常スコアリングのため、全ログシーケンスを表す特別な [DIST] テンキーを採用する。
• 両方の自己教師ありタスクを事前学習中に組み合わせ、頑健な正常シーケンス表現を学習する。
• シーケンスの [DIST] テンキー埋め込みが正常シーケンスの重心からの距離を異常スコアとして用いる。

実験結果

リサーチクエスチョン

• RQ1 BERT ベースのモデルは、自己教師あり事前学習によって、正常なログシーケンスパターンを効果的に学習できるか？
• RQ2 マスクされたログキー予測と超球体積の最小化を組み合わせることで、単一の目的での事前学習に比べて異常検出のパフォーマンスが向上するか？
• RQ3 異なるシーケンス長さや正常／異常比を有する多様なログデータセットにおいて、LogBERT のパフォーマンスはいかがなっているか？
• RQ4 2つの自己教師あり事前学習タスクが表現学習および異常検出にどの程度寄与しているか？
• RQ5 事前学習中に観測されていない未発見の異常パターンに対しても、モデルは一般化可能か？

主な発見

• LogBERT は Thunderbird データセットで F1 スコア 96.64 を達成し、すべてのベースラインを上回った。
• HDFS データセットでは、両方の自己教師ありタスクを用いて学習した場合、F1 スコアが 82.32 に達し、単一タスク学習に比べて顕著な向上を示した。
• アブレーションスタディの結果、両方の事前学習タスクを組み合わせることで、単体での使用よりも高いパフォーマンスが得られ、特に短いシーケンスで顕著であった。
• LLE を用いた可視化により、超球体積の最小化タスクが潜在空間において正常と異常シーケンスを効果的に分離していることが確認された。
• パラメータ解析の結果、マスク率が 0.1 から 0.5 の範囲でパフォーマンスが向上するが、それ以上の比率では情報損失のため性能が低下した。
• ハイパーパramータチューニングに対してモデルは頑健であり、さまざまな α 値や候補集合サイズにおいて安定したパフォーマンスを示した。