[論文レビュー] LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision

Thorsten Wittkopp, Philipp Wiesner+2 more|arXiv (Cornell University)|Nov 2, 2021

Software System Performance and Reliability参考文献 34被引用数 7

ひとこと要約

LogLAB は、監視システムから得られる粗い障害発生時間窓のみを用いて、弱教師付きでアテンションベースの深層学習モデルとしてログ異常ラベル付けを自動化するものである。3つのデータセットにおいて、時間窓の誤差が大きくてもF1スコアが0.98以上を達成し、クラスの不均衡やノイズのあるラベルに対応するためのカスタム損失関数により、9つのベースラインを上回る性能を発揮する。

ABSTRACT

With increasing scale and complexity of cloud operations, automated detection of anomalies in monitoring data such as logs will be an essential part of managing future IT infrastructures. However, many methods based on artificial intelligence, such as supervised deep learning models, require large amounts of labeled training data to perform well. In practice, this data is rarely available because labeling log data is expensive, time-consuming, and requires a deep understanding of the underlying system. We present LogLAB, a novel modeling approach for automated labeling of log messages without requiring manual work by experts. Our method relies on estimated failure time windows provided by monitoring systems to produce precise labeled datasets in retrospect. It is based on the attention mechanism and uses a custom objective function for weak supervision deep learning techniques that accounts for imbalanced data. Our evaluation shows that LogLAB consistently outperforms nine benchmark approaches across three different datasets and maintains an F1-score of more than 0.98 even at large failure time windows.

研究の動機と目的

• 教師あり異常検出モデルの学習に必要なラベル付きログデータの不足に対処すること。
• 専門家によるアノテーションが不要な真のラベルに依存せず、高コストな手動ラベリングに依存しないログメッセージのラベル付けを自動化すること。
• 監視システムが提供する近似的な障害発生時間窓を弱教師付き情報として活用する手法を開発すること。
• ノイズや不正確なラベルを考慮したカスタム損失関数を設計することで、不均衡なログ異常ラベル付けの性能を向上させること。
• ラベル付けの不確実性の程度が異なる状況下で、LogLAB を3つの実世界のログデータセットに対して9つのベースラインと比較して評価すること。

提案手法

• LogLAB は自己アテンションを用いたトランスフォーマーに基づくエンコーダーを用いて、トークン化されたログメッセージを処理する。
• ログメッセージはトークン化され、学習済みの埋め込み表現に変換され、ハッシュ値やタイムスタンプなどの機密値はプレースホルダーに置き換えられる。
• モデルは [CLS] トークンの表現を用いて、各ログメッセージごとに異常スコアを予測する全結合ヘッドを備える。
• クラスの不均衡に対処するため、正例（P）に対してはL2損失、未ラベル例（U）に対しては逆正規化L2損失を組み合わせたカスタム目的関数が用いられる。
• 損失関数は以下の通り定義される：(1/m) * Σ[(1−ỹi)*||zi||² + ỹi * (|P|/(|P|+|U|))² / ||zi||]、ここで ỹi は不正確なラベル、zi はモデル出力である。
• この手法は、正例（P）が障害時間窓外のログ、未ラベル例（U）が時間窓内にあるログであるPU学習の問題とみなす。

実験結果

リサーチクエスチョン

• RQ1 監視システムから得られる障害発生時間窓の推定値のみを用いて、ログ異常ラベル付けを自動化できるか？
• RQ2 弱教師付き条件下で、確立されたテキスト分類および異常検出手法と比較して、LogLAB はどのように性能を発揮するか？
• RQ3 カスタム損失関数は、不均衡で弱教師付きのログデータに対して、どの程度性能を向上させるか？
• RQ4 障害発生時間窓の推定値における不確実性の増加に対して、LogLAB はどの程度頑健か？
• RQ5 多数のサンプルがノイズ混じりまたは誤って異常とラベル付けされている状況でも、F1スコアを高い水準で維持できるか？

主な発見

• Thunderbird データセットにおいて、δ = ±1000ms 時に F1スコア 0.9995 を達成し、次に良いベースライン（0.3440）を著しく上回った。
• BGL データセットでは、δ = ±15000ms 時に F1スコア 0.9902 を維持したが、他の手法は 0.98 を下回った。
• Spirit データセットでは、δ = ±15000ms 時に F1スコア 0.9825 を達成し、次に良い手法より 0.46 以上優れた性能を示した。
• すべてのデータセットおよび時間窓において、LogLAB は F1スコアが 0.98 を常に上回り、未ラベルセット（U）に最大 326万件のサンプルが含まれても安定した性能を示した。
• カスタム損失関数は、クラスの不均衡やノイズのあるラベルによる性能低下を効果的に緩和し、ラベル付けの不確実性が増す状況でも安定した性能を実現した。
• 障害発生時間窓が 30 秒にまで拡大しても、LogLAB の性能は頑健に保たれ、実世界の監視の不正確さへの一般化能力が強く示された。