[論文レビュー] A2Log: Attentive Augmented Log Anomaly Detection

Thorsten Wittkopp, Alexander Acker+5 more|arXiv (Cornell University)|Sep 20, 2021

Software System Performance and Reliability参考文献 26被引用数 6

ひとこと要約

A2Logは、異常例を必要とせず、自己注意ニューラルネットワークを用いた異常スコア算出と、データ拡張に基づく意思決定境界学習により、教師なしのログ異常検出を実現する手法を提案する。正常データのみを用いた学習で、最良のベースラインと同等のF1スコアを達成しており、DeepLog や 3-Sigma より優れた性能を示している。3つの公開データセットおよび1つの産業分野データセットで検証された。

ABSTRACT

Anomaly detection becomes increasingly important for the dependability and serviceability of IT services. As log lines record events during the execution of IT services, they are a primary source for diagnostics. Thereby, unsupervised methods provide a significant benefit since not all anomalies can be known at training time. Existing unsupervised methods need anomaly examples to obtain a suitable decision boundary required for the anomaly detection task. This requirement poses practical limitations. Therefore, we develop A2Log, which is an unsupervised anomaly detection method consisting of two steps: Anomaly scoring and anomaly decision. First, we utilize a self-attention neural network to perform the scoring for each log message. Second, we set the decision boundary based on data augmentation of the available normal training data. The method is evaluated on three publicly available datasets and one industry dataset. We show that our approach outperforms existing methods. Furthermore, we utilize available anomaly examples to set optimal decision boundaries to acquire strong baselines. We show that our approach, which determines decision boundaries without utilizing anomaly examples, can reach scores of the strong baselines.

研究の動機と目的

• 教師あり手法に依存する教師なしログ異常検出手法が、最適な意思決定境界を設定するために異常例を必要としているという制限を解消すること。
• 異常スコア算出と意思決定境界の両方を、正常データのみを用いて完全に教師なしで行うアプローチの開発。
• 産業分野のデータセットも含む多様な実世界のデータセットを用いて、手法の堅牢性と性能を評価すること。
• データ拡張を用いた教師なし意思決定境界学習が、ラベル付き異常データに依存するベースラインと同等の性能を達成できることを示すこと。
• ラベル付き異常データが乏しいもしくは入手困難な生産環境での実用的導入を可能にすること。

提案手法

• 各ログメッセージのシーケンス的文脈に基づいて、自己注意トランスフォーマー・エンコーダーを用いて異常スコアを生成する。
• 正常ログシーケンスに対して、確率p=0.95で1つのトークンを未知トークン（UNK）に置き換えることでデータ拡張を実施する。
• これらの拡張済み入力に対するモデルの反応を分析し、異常分類のための意思決定境界を特定する。
• パラメータα, p, βを有するパrameterized関数a(·)を用いて意思決定境界を計算する。ここでα=1およびp=0.95は、全データセットで固定される。
• 正常ログと安定化クラスのサンプル間のクラス分布をバランスさせるために、トレーニング中に重み付きサンプリングを適用する。
• 最終的な異常判断は、異常スコアを、拡張データに対するモデルの挙動から導出されたしきい値εと比較することで行う。

実験結果

リサーチクエスチョン

• RQ1 異常例を一切使用しない教師なし異常検出手法が、最良のベースラインと同等の性能を達成できるか？
• RQ2 異常例が存在しない状況で、データ拡張を用いて正常のばらつきを模倣し、頑健な意思決定境界を学習する効果はいかほどか？
• RQ3 異なるデータ特性やコンセプトドリフトを示す多様なログデータセットにおいて、提案手法が高い性能を維持できるか？
• RQ4 拡張入力に対するモデルの反応分析を用いて、正常データのみから信頼性のある意思決定境界を学習できるか？
• RQ5 ハイパーパramータの選択にどれほど感度を示すか？また、最小限のチューニングで異なるデータセットに一般化可能か？

主な発見

• BGL、Thunderbird、Spiritの各データセットにおいて、A2Logは全トレーニングスプリット（10%、20%、40%、60%）で、最良のベースライン（Best）と同等のF1スコアを達成した。
• 産業分野のデータセットでは、3-Sigmaベースラインを上回り、最良の意思決定境界と同等の性能を示した。これは、限られたトレーニングデータでも成立する。
• BGLデータセットのコンセプトドリフトに対しても、A2Logは強固な性能を維持したが、極めて小さなトレーニングデータセットではわずかに性能が低下した。
• α=1およびp=0.95のパラメータは、全データセットで安定しており、ハイパーパramータチューニングに対して低い感度を示した。
• A2Logは、全評価対象データセットおよびトレーニングデータ比において、DeepLog や 3-Sigma を一貫して上回った。
• 本手法は、ラベル付き異常データを一切必要とせず、データ拡張による教師なし意思決定境界学習が、実世界の異常を効果的に模倣可能であることを示した。