[論文レビュー] Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs

Sasho Nedelkoski, Jasmin Bogatinovski+3 more|arXiv (Cornell University)|Aug 21, 2020

Software System Performance and Reliability参考文献 31被引用数 5

ひとこと要約

Logsyは、ターゲットシステムの正常ログと、多様で公開可能な補助データセットからの異常ログを区別するようにトレーニングされたニューラルネットワークを用いて、非構造化システムログの自己注意的で分類ベースの異常検出手法を提案する。新しい超球損失関数を用いることで、凝縮され意味的に豊かなログ表現を学習し、一般化性能を向上させ、先行手法よりもF1スコアで0.25の向上を達成する。

ABSTRACT

The detection of anomalies is essential mining task for the security and reliability in computer systems. Logs are a common and major data source for anomaly detection methods in almost every computer system. They collect a range of significant events describing the runtime system status. Recent studies have focused predominantly on one-class deep learning methods on predefined non-learnable numerical log representations. The main limitation is that these models are not able to learn log representations describing the semantic differences between normal and anomaly logs, leading to a poor generalization of unseen logs. We propose Logsy, a classification-based method to learn log representations in a way to distinguish between normal data from the system of interest and anomaly samples from auxiliary log datasets, easily accessible via the internet. The idea behind such an approach to anomaly detection is that the auxiliary dataset is sufficiently informative to enhance the representation of the normal data, yet diverse to regularize against overfitting and improve generalization. We propose an attention-based encoder model with a new hyperspherical loss function. This enables learning compact log representations capturing the intrinsic differences between normal and anomaly logs. Empirically, we show an average improvement of 0.25 in the F1 score, compared to the previous methods. To investigate the properties of Logsy, we perform additional experiments including evaluation of the effect of the auxiliary data size, the influence of expert knowledge, and the quality of the learned log representations. The results show that the learned representation boost the performance of the previous methods such as PCA with a relative improvement of 28.2%.

研究の動機と目的

• 一クラスの深層学習手法が、硬直的で意味的でないログ表現を持つために、ログ異常検出において一般化性能が低いという問題に対処する。
• ログパースやテンプレートベースのモデルが未学習のログメッセージに失敗するという制限を克服する。
• 多様で容易に入手可能な補助ログデータセットを正則化子として活用することで、モデルのロバスト性と一般化性能を向上させる。
• 広範な専門家ラベル付けを必要とせずに、正常ログと異常ログの間の意味的差を捉える表現学習手法を開発する。
• 学習されたログ埋め込み表現が、Logsyそのものだけでなく、従来の手法（例：PCA）の性能向上にも寄与することを実証する。

提案手法

• 対照的分類目的を用いて、自己注意エンコーダーニューラルネットワークをトレーニングし、生ログメッセージを密なベクトル表現にマップする。
• 正常ログ埋め込みが超球の原点の周囲に密にクラスタリングされるよう促進し、異常ログ埋め込みは周縁に押し出されるような、超球損失関数を用いる。
• ターゲットシステムのログ（正常）と、多様な補助データセットからのログ（異常）を組み合わせてトレーニングし、二値分類問題として扱う。
• 長距離依存関係と非構造化ログ系列内の意味的構造を捉えるために、事前学習済みのトランスフォーマー型アテンションメカニズムを活用する。
• T-SNE可視化を適用し、学習された埋め込みの幾何的構造を分析し、正常ログが中心に集中し、異常ログが外側に分散していることを確認する。
• 学習されたログ埋め込みを抽出し、ベースライン手法（例：PCA）に再適用して、異なる異常検出パイプラインにおける汎用性を評価する。

実験結果

リサーチクエスチョン

• RQ1 補助ログデータセットを用いた分類ベースのアプローチは、一クラス学習と比較して、ログ異常検出における一般化性能を向上させることができるか？
• RQ2 提案された超球損失関数は、凝縮され特徴的なログ表現を学習するためにどの程度効果的か？
• RQ3 ターゲットシステムからのラベル付き異常データでわずかにでも改善が得られるか、その程度は？
• RQ4 学習されたログ埋め込み表現は、PCAのような従来の深層学習でない手法に転送され、性能向上をもたらすか？
• RQ5 補助データセットのサイズと多様性は、学習された表現のロバスト性と一般化性能にどの程度影響を与えるか？

主な発見

• Logsyは、ログ異常検出における先行最良手法よりも平均でF1スコアが0.25向上する。
• たった1つの補助ログサンプルでも、超球損失を正則化し、自明な解を防ぐことができ、損失関数の強いインダクティブバイアスを示している。
• ターゲットシステムからのラベル付き異常データをたった2%含めるだけでF1スコアが0.8に達する。これは、本手法の高いサンプル効率を示している。
• 学習されたログ埋め込み表現は、従来の手法を顕著に向上させる：TF-IDFの代わりにLogsy埋め込みを用いることで、PCAのF1スコアは平均で28.2%向上する。
• T-SNE可視化により、正常ログが超球の中心付近に密にクラスタリングされているのに対し、異常ログは外側に分散していることが確認され、超球損失の幾何的意図が妥当であることが裏付けられた。
• 本手法は未観測ログに対しても良好に一般化される。Blue Gene/L、Thunderbird、Spiritを含む複数のベンチマークデータセットで一貫した性能向上が観察された。