[論文レビュー] Self-Supervised Log Parsing

Sasho Nedelkoski, Jasmin Bogatinovski+3 more|arXiv (Cornell University)|Mar 17, 2020

Software System Performance and Reliability参考文献 20被引用数 4

ひとこと要約

この論文では、トランスフォーマーに基づくアーキテクチャを用いて、対話的言語モデル化（MLM）としてログパースを定式化する自己教師付きログパース手法であるNuLogを提案する。マスクされたトークンを予測することで、NuLogは構造化されたログテンプレートと濃密なベクトル埋め込みを同時に抽出し、10の実世界データセットで12の先行手法を上回る平均99%のパース精度を達成するとともに、異常検出のためのF1スコアが最大0.999に達する。

ABSTRACT

Logs are extensively used during the development and maintenance of software systems. They collect runtime events and allow tracking of code execution, which enables a variety of critical tasks such as troubleshooting and fault detection. However, large-scale software systems generate massive volumes of semi-structured log records, posing a major challenge for automated analysis. Parsing semi-structured records with free-form text log messages into structured templates is the first and crucial step that enables further analysis. Existing approaches rely on log-specific heuristics or manual rule extraction. These are often specialized in parsing certain log types, and thus, limit performance scores and generalization. We propose a novel parsing technique called NuLog that utilizes a self-supervised learning model and formulates the parsing task as masked language modeling (MLM). In the process of parsing, the model extracts summarizations from the logs in the form of a vector embedding. This allows the coupling of the MLM as pre-training with a downstream anomaly detection task. We evaluate the parsing performance of NuLog on 10 real-world log datasets and compare the results with 12 parsing techniques. The results show that NuLog outperforms existing methods in parsing accuracy with an average of 99% and achieves the lowest edit distance to the ground truth templates. Additionally, two case studies are conducted to demonstrate the ability of the approach for log-based anomaly detection in both supervised and unsupervised scenario. The results show that NuLog can be successfully used to support troubleshooting tasks. The implementation is available at https://github.com/nulog/nulog.

研究の動機と目的

• 手動で定義されたヒューリスティクスやドメイン固有のルールに依存する既存のログパース手法の限界を解消すること。
• 多様なITシステムに適用可能な汎用的で人的介入が最小限のログパース技術を開発すること。
• 学習されたログ表現を異常検出などの後続タスクに活用できること。
• ログパースにおける自己教師学習の有効性と、異常検出への転送可能性を評価すること。

提案手法

• トランスフォーマーに基づくモデルを用いて、ログパースをマスク言語モデル化（MLM）タスクとして定式化する。
• [CLS]トークンの埋め込みを用いて、ログメッセージの文脈の濃密なベクトル表現を生成する。
• マスクされたトークンの予測により、定数のログテンプレート部分（正しく予測される）と可変パラメータ部分（誤って予測される）を区別する。
• 後続の異常検出タスクのための事前学習済みMLM表現を事前知識として活用する。
• 最終のソフトマックス層を二値分類ヘッドに置き換えることで、教師あり異常検出のためのファインチューニングを行う。
• 予測の信頼度が低いマスクトークンの割合が高いログメッセージを異常とみなすことで、教師なし異常検出を実装する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きマスク言語モデル化は、人的介入を最小限に抑えつつ、準構造化ログメッセージを構造化されたテンプレートに効果的にパースできるか？
• RQ2 多様な実世界データセットにおいて、NuLogのパース性能は既存のログパース手法と比べてどの程度優れているか？
• RQ3 自己教師学習によるパースフェーズで得られたログ埋め込み表現は、後続の異常検出タスクに効果的に転送できるか？
• RQ4 NuLogは、教師ありおよび教師なしの両方の異常検出シナリオでどの程度の性能を示すか？

主な発見

• NuLogは10の実世界ログデータセットで平均99%のパース精度を達成し、12の既存手法を上回った。
• NuLogは正解テンプレートとの編集距離が最小であり、パースの構造的整合性が非常に高いことを示している。
• BGLデータセットにおける教師なし異常検出では、F1スコアが0.999に達し、適合率は1.000、再現率は0.999であった。
• 教師あり異常検出では、わずか2エポックのファインチューニングでF1スコアが0.999に達し、学習済み表現の優れた転送性を示した。
• クラウドインfraストラクチャ、モバイルOS、アプリケーションログを含む多様なシステムに広く一般化でき、ドメイン固有の調整が最小限で済んだ。