[論文レビュー] SemParser: A Semantic Parser for Log Analysis

Yintong Huo, Yuxin Su+2 more|arXiv (Cornell University)|Dec 23, 2021

Software System Performance and Reliability被引用数 4

ひとこと要約

SemParser は、ログメッセージからの明示的および暗黙的な意味を組み込むことで、構文ベースのログパーサーの限界を克服する新しい意味解析パーサーである。2段階アプローチ（エンド・トゥ・エンドの意味抽出、文脈知識を用いた統合的解析）を採用し、意味抽出の平均 F1 スコアは 0.985 を達成。これにより、異常検出や障害特定の下流タスクモデルの性能が、それぞれ最大 11.7% および 8.65% 向上した。

ABSTRACT

Logs, being run-time information automatically generated by software, record system events and activities with their timestamps. Before obtaining more insights into the run-time status of the software, a fundamental step of log analysis, called log parsing, is employed to extract structured templates and parameters from the semi-structured raw log messages. However, current log parsers are all syntax-based and regard each message as a character string, ignoring the semantic information included in parameters and templates. Thus, we propose the semantic-based parser SemParser to unlock the critical bottleneck of mining semantics from log messages. It contains two steps, an end-to-end semantic miner and a joint parser. Specifically, the first step aims to identify explicit semantics inside a single log, and the second step is responsible for jointly inferring implicit semantics and computing structural outputs based on the contextual knowledge base. To analyze the effectiveness of our semantic parser, we first demonstrate that it can derive rich semantics from log messages collected from six widely-applied systems with an average F1 score of 0.985. Then, we conduct two representative downstream tasks, showing that current downstream models improve their performance with appropriately extracted semantics by 1.2%-11.7% and 8.65% on two anomaly detection datasets and a failure identification dataset, respectively. We believe these findings provide insights into semantically understanding log messages for the log analysis community.

研究の動機と目的

• パrameter やテンプレートにおける意味的意味を無視する構文ベースのログパーサーの限界を解消すること。
• 有益なトークンを特定し、メッセージ内における意味的関係を抽出し、メッセージ間の関係を推論すること。
• 異常検出や障害特定などの下流タスクにおけるログ解析性能を、より豊富な意味的表現によって向上させること。
• 従来の NER アプローチの閉じた世界仮定を克服するスケーラブルで一般化可能なパーサーを開発すること。
• 意味理解が、既存のログ解析モデルの性能を顕著に向上させることを実証すること。

提案手法

• 2段階アーキテクチャ：まず、エンド・トゥ・エンドの意味抽出モジュールが個々のログメッセージ内での明示的意味的役割を特定する。
• 次に、履歴ログから得られる文脈知識ベースを用いて、統合的パーサーが暗黙的な意味を推論する。
• ドメイン固有の知識を活用してパラメータの意味を解釈する（例：'949e1227' を 'cell ID' にマッピング）。
• 複数のログ間の文脈的依存関係を統合して、単一のメッセージに明示的に記述されていない意味を推論する。
• フレームワークはエンド・トゥ・エンドで学習され、手作業によるルールや事前定義されたエンティティタイプに依存しない。
• 深層学習コンponents を用いてログメッセージを符号化し、意味ラベル付けと構造的解析を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 意味パーサーは、多様なソフトウェアシステムにわたる個々のログメッセージから、明示的な意味を効果的に抽出できるか？
• RQ2 履歴ログからの文脈的知識が、ログパラメータにおける暗黙的意味の推論をどの程度向上できるか？
• RQ3 意味認識型パーサーは、異常検出や障害診断などの下流タスクの性能をどのように向上させるか？
• RQ4 システム固有のルール設計を必要とせずに、異なるシステム間で一般化可能か？
• RQ5 意味パーサーは、意味的正確性と下流タスクの有効性の両面で、構文ベースのパーサーを上回るか？

主な発見

• SemParser は、6つの広く使われているソフトウェアシステムにおいて、平均 F1 スコア 0.985 を達成し、明示的意味の同定に高い正確性を示した。
• 異常検出タスクでは、SemParser の出力を用いたモデルが、構文ベースのパーサーと比較して、1.2% から 11.7% の性能向上を達成した。
• 障害特定タスクでは、SemParser が抽出した意味情報を用いた下流モデルが、8.65% の性能向上を達成した。
• 統合的パーサーは、文脈知識を活用して、パラメータの種類（例：cell ID）のような暗黙的意味を効果的に推論できた。
• 手作業によるルール作成を排除し、頻度依存のヒューリスティクスに依存するのを減らすことで、ルールベースおよびヒューリスティックパーサーを上回った。
• 結果から、意味理解が、下流の AI 駆動型解析に向けたログ表現の質を顕著に向上させることを確認した。