[論文レビュー] Length Matters: Clustering System Log Messages using Length of Words

Keiichi Shima|arXiv (Cornell University)|Nov 10, 2016

Software System Performance and Reliability参考文献 8被引用数 92

ひとこと要約

この論文では、頻度解析や二回走査を必要とせず、語の長さのシーケンスを用いてテンプレートを推定する、1回走査で行えるオンラインなシステムログメッセージクラスタリング手法LenMaを提案する。各メッセージを語の長さのシーケンスとして扱うことで、SHISOなどの既存手法と同等のテンプレートクラスタリング精度を達成するとともに、クラウドや分散システムにおける動的ログパターンへのリアルタイム対応を可能にする。

ABSTRACT

The analysis techniques of system log messages (syslog messages) have a long history from when the syslog mechanism was invented. Typically, the analysis consists of two parts, one is a message template generation, and the other is finding something interesting using the messages classified by the inferred templates. It is important to generate better templates to achieve better, precise, or convincible analysis results. In this paper, we propose a classification methodology using the length of words of each message. Our method is suitable for online template generation because it does not require two-pass analysis to generate template messages, that is an important factor considering increasing amount of log messages produced by a large number of system components such as cloud infrastructure.

研究の動機と目的

• クラウドインfraストラクチャのような動的環境における、リアルタイムでスケーラブルなシステムログメッセージクラスタリングの課題に取り組む。
• 二回走査分析や頻度に基づく語選択を回避することで、テンプレート生成の複雑さを低減する。
• 語の長さシーケンスのみが、ログメッセージのクラスタリングに信頼性があり十分な根拠となるかどうかを検討する。
• ソフトウェアのアップデートや新規コンponentの導入に伴うログメッセージパターンの変化に、素早く対応できるオンラインで適応可能なテンプレートマイニングを実現する。

提案手法

• 各ログメッセージを、語の長さのシーケンスとして表現し、各語の文字数を特徴量として扱う。
• 類似度閾値（Tc = 0.9）と最小語数閾値（Tp = 3）を適用し、一致する長さシーケンスに基づいてメッセージをクラスタにグループ化する。
• 1回走査でクラスタリングを実行するため、高スループットのログストリームのリアルタイム処理に適している。
• 語の内容、文字種、頻度の分析を行わず、メッセージ内の各語の長さにのみ焦点を当てる。
• 単純なベクトルベースの比較を用いる：同一または類似度の高い語の長さシーケンスを持つメッセージは、同じグループにまとめられる。
• 複雑な前処理や学習段階を回避するため、軽量でスケーラブルに設計されている。

実験結果

リサーチクエスチョン

• RQ1 語の長さシーケンスのみが、システムログメッセージのクラスタリングに信頼性があり十分な根拠となるか？
• RQ2 1回走査で長さに基づくクラスタリング手法は、複数回走査で頻度や文字種に基づく手法と比較して、テンプレートの正確性とスケーラビリティにおいてどう異なるか？
• RQ3 この手法は、事前の知識やトレーニングを必要とせず、クラウドや分散システムにおける動的ログパターンを効果的に処理できるか？
• RQ4 実世界のログデータセットにおいて、最適なクラスタリング結果を得るために、類似度と最小語数の閾値はそれぞれどの値が適しているか？

主な発見

• LenMaは、log/secureデータセットにおいてSHISO（26）と同等のテンプレート数（26）を達成し、よりシンプルな処理で競争力のある性能を示した。
• 1分間のロググループ132,480件を25の明確なメッセージパターンクラスタに正しく分類し、優れたパターン認識能力を示した。
• SSH接続試行やノード再起動といった頻出パターンが、ログストリームから正しく特定され分離された。
• 異常行動としての異常なSSH活動やシステム再起動といったユニークな挙動も検出でき、異常検知における有効性を示した。
• 語の頻度や文字種の分析を行わずとも、LenMaは既知のシステム動作と一致する意味のあるクラスタを生成した。
• オンライン処理に有効であり、二回走査のオーバーヘッドがなく、リアルタイムでのテンプレート推定が可能であることが実証された。