[論文レビュー] Pinpointing Anomaly Events in Logs from Stability Testing -- N-Grams vs. Deep-Learning

Mika Mäntylä, Martı́n Varela+1 more|arXiv (Cornell University)|Feb 18, 2022

Software System Performance and Reliability被引用数 4

ひとこと要約

本稿では、安定性テストにおける障害が徐々に発生する環境で、個々のログイベントの異常度をスコアリングするためのN-gramモデルとLSTMベースのディープラーニングモデルを提案し、比較している。正常なログシーケンスのみで訓練されたN-gramモデルは、LSTMモデルとほぼ同等の精度を達成している（HDFSでは0.904対0.900、Androidログでは0.848対0.865）が、計算効率は著しく優れている（4〜13秒対16分〜4時間）。この結果、N-gramモデルはログの根本原因分析における産業的導入に好ましい選択肢である。

ABSTRACT

As stability testing execution logs can be very long, software engineers need help in locating anomalous events. We develop and evaluate two models for scoring individual log-events for anomalousness, namely an N-Gram model and a Deep Learning model with LSTM (Long short-term memory). Both are trained on normal log sequences only. We evaluate the models with long log sequences of Android stability testing in our company case and with short log sequences from HDFS (Hadoop Distributed File System) public dataset. We evaluate next event prediction accuracy and computational efficiency. The LSTM model is more accurate in stability testing logs (0.848 vs 0.865), whereas in HDFS logs the N-Gram is slightly more accurate (0.904 vs 0.900). The N-Gram model has far superior computational efficiency compared to the Deep model (4 to 13 seconds vs 16 minutes to nearly 4 hours), making it the preferred choice for our case company. Scoring individual log events for anomalousness seems like a good aid for root cause analysis of failing test cases, and our case company plans to add it to its online services. Despite the recent surge in using deep learning in software system anomaly detection, we found limited benefits in doing so. However, future work should consider whether our finding holds with different LSTM-model hyper-parameters, other datasets, and with other deep-learning approaches that promise better accuracy and computational efficiency than LSTM based models.

研究の動機と目的

• 長期間にわたる安定性テストにおいて、障害が徐々に発生し、再現が困難な環境での異常ログイベントの特定という課題に対処すること。
• ソフトウェア信頼性テストにおけるログ異常検出において、ディープラーニングが古典的N-gramモデルに比べて顕著な利点を提供するかどうかを評価すること。
• エンジニアが注目すべき疑わしいログエントリを特定できるように、イベント単位の異常度スコアを提供することで根本原因分析を支援すること。
• 産業的制約のもとで大規模ログデータを処理する際、計算効率を精度と併せて優先すること。

提案手法

• N-gramモデルとLSTMモデルを、正常なログシーケンスのみで訓練し、文脈依存的なパターンを学習する。
• 直前の文脈に基づいて各ログイベントの尤度をスコア化する：尤度が低いほど異常度が高くなる。
• n-gramの頻度カウントを用いて、直前のn-1個のイベントが与えられたもとでの次に来るイベントの尤度を推定する。
• 長短期記憶（LSTM）ネットワークを用いて、順序依存性をモデル化し、シーケンス内の次に来るイベントを予測する。
• 次イベント予測の正答率を、異常検出性能の代理指標として用いる。
• スコア化されたログシーケンスを可視化することで、根本原因の調査を支援する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 異常ログイベントの検出において、N-gramモデルとLSTMモデルのどちらが優れているか？
• RQ2 RQ2: ログシーケンスにおける異常検出において、最適なN-gram設定（例：n値）は何か？
• RQ3 RQ3: 両方のデータセットを考慮した場合、どのモデルが全体としてより高い精度を示すか？
• RQ4 RQ4: デバッグの目的で、個々のイベントの異常度を効果的に測定・可視化するにはどうすればよいか？

主な発見

• HDFSデータセットにおいて、N-gramモデルはLSTMモデルよりもわずかに高い精度を達成した（次イベント予測の正答率：0.904 対 0.900）。
• Android安定性テストログにおいて、LSTMモデルはN-gramモデルよりもわずかに高い精度を示した（次イベント予測の正答率：0.865 対 0.848）。
• N-gramモデルはLSTMモデルに比べて著しく計算効率が高く、同じタスクを実行するのに4〜13秒で済むのに対し、LSTMモデルは16分からほぼ4時間もかかっていた。
• 計算効率の差はN-gramモデルに大きく傾いており、処理時間が重要な産業的環境では、N-gramモデルがより適している。
• 近年、異常検出分野でディープラーニングの傾向が高まる中、本研究ではLSTMをN-gramに比べて使用する実用的利点が限定的であることが判明した。これは、精度の向上がわずかで、計算コストが非常に高いためである。
• 同社は、オンライン安定性テストサービスにイベント単位の異常度スコアを統合する計画であり、根本原因分析におけるその価値を強く認識している。