[論文レビュー] Detecting Log Anomalies with Multi-Head Attention (LAMA)

Yicheng Guo, Yujin Wen+3 more|arXiv (Cornell University)|Jan 7, 2021

Software System Performance and Reliability参考文献 11被引用数 6

ひとこと要約

本稿では、RNNに依存せずにログストリーム内の順序パターンを活用する、ログ異常検出向けの軽量なマルチヘッド自己注意モデルLAMAを提案する。次イベント予測タスクで訓練することで、HDFSデータセット上でF1スコア0.985を達成し、既存の統計的手法およびディープラーニング手法を上回り、自己注意機構がログ系列における長距離依存関係を効果的に捉えられることを示している。

ABSTRACT

Anomaly detection is a crucial and challenging subject that has been studied within diverse research areas. In this work, we explore the task of log anomaly detection (especially computer system logs and user behavior logs) by analyzing logs' sequential information. We propose LAMA, a multi-head attention based sequential model to process log streams as template activity (event) sequences. A next event prediction task is applied to train the model for anomaly detection. Extensive empirical studies demonstrate that our new model outperforms existing log anomaly detection methods including statistical and deep learning methodologies, which validate the effectiveness of our proposed method in learning sequence patterns of log data.

研究の動機と目的

• 長距離依存関係を捉えられない、または計算複雑度が高いために性能を発揮しない既存のログ異常検出手法の限界を是正すること。
• RNNベースのアーキテクチャに代わる純粋なアテンション機構を用いた、軽量で効率的なログ異常検出モデルの開発。
• マルチヘッド自己注意を用いてログイベントストリームの内在する順序パターンをモデル化することで、検出精度の向上。
• 生産環境で一般的な未知語彙（OOV）イベントを含む実世界のログデータセットにおけるモデルの頑健性の評価。

提案手法

• LAMAは、Transformerアーキテクチャにインspiredされたマルチヘッド自己注意機構を用いて、ログイベントストリーム内の順序的依存関係をモデル化する。
• ログ系列は固定長lのスライディングウィンドウによって形成され、各系列はその次のイベントを予測するために使用される。
• モデルはエンドツーエンドで次イベント予測タスク上で訓練され、異常検出はトップk候補内での正しい次のイベントの予測に失敗した場合に定式化される。
• デコーダーヘッドを排除することで、シーケンストゥシーケンス生成を目的としない、ログ異常検出に最適化された軽量な設計となっている。
• 埋め込み層はログイベントを密度ベクトルにマッピングし、前向き伝搬ネットワークは注意された表現を処理した後に予測を行う。
• モデルは予測タスクにおける交差エントロピー損失を用いて訓練され、ドロップアウトとレイヤーナーミャライゼーションによる正則化が施されている。

実験結果

リサーチクエスチョン

• RQ1 RNNに依存せずに、自己注意ベースのモデルがログイベント系列における長距離依存関係を効果的に学習できるか？
• RQ2 LAMAの性能は、標準的なログ異常検出ベンチマークにおいて、最先端の統計的手法およびディープラーニング手法と比較してどうなるか？
• RQ3 生産環境のログデータで一般的な未知語彙（OOV）イベントに対して、LAMAはどの程度頑健か？
• RQ4 アテンションヘッド数や層の数を変化させた場合、モデルの性能と安定性にどのような影響を与えるか？

主な発見

• LAMAはHDFSデータセットの80/20分割においてF1スコア0.985を達成し、隔離木、PCA、不変マイニングといったベースラインモデルを顕著に上回った。
• より多くのOOVイベントを含む1/99分割においても、LAMAはF1スコア0.946を維持し、レアイベントに対して高い頑健性を示した。
• LSTMベースのベースラインと比較して、LAMAはより速く収束し、単一のTesla V100 GPUで1時間未満で訓練が完了した。
• アブレーションスタディの結果、8つのアテンションヘッドと4～6層が最適な性能をもたらし、ヘッド数が少ない場合はばらつきと不安定性が高くなることが判明した。
• 複数回の実行においてもモデルの性能は安定しており、標準偏差が低く、一貫した学習行動を示した。
• デコーダーを含まない軽量な設計により、LAMAはDeepLogのようなseq2seqベースのモデルよりも効率的でありながら、優れた精度を維持している。