[論文レビュー] Prompting for Automatic Log Template Extraction

Junjielong Xu, Ruichun Yang+3 more|arXiv (Cornell University)|Jul 19, 2023

Software System Performance and Reliability被引用数 5

ひとこと要約

本稿では、大規模言語モデル（LLMs）を用いたコンテキスト内学習を活用し、多様で代表的なログ例に対してプロンプトを提示することで、微調整を必要としないログテンプレート抽出を実現する、LogDivと呼ばれるチューニング不要なログパーサーフレームワークを提案する。微調整なしで、16の公開データセットにおいて97.7%のパース精度、88.1%の精度テンプレート精度、90.8%の再現率テンプレート精度を達成し、最先端の性能を発揮する。

ABSTRACT

Log parsing, which involves log template extraction from semi-structured logs to produce structured logs, is the first and the most critical step in automated log analysis. However, current log parsers suffer from limited effectiveness for two reasons. First, traditional data-driven log parsers solely rely on heuristics or handcrafted features designed by domain experts, which may not consistently perform well on logs from diverse systems. Second, existing supervised log parsers require model tuning, which is often limited to fixed training samples and causes sub-optimal performance across the entire log source. To address this limitation, we propose DivLog, an effective log parsing framework based on the in-context learning (ICL) ability of large language models (LLMs). Specifically, before log parsing, DivLog samples a small amount of offline logs as candidates by maximizing their diversity. Then, during log parsing, DivLog selects five appropriate labeled candidates as examples for each target log and constructs them into a prompt. By mining the semantics of examples in the prompt, DivLog generates a target log template in a training-free manner. In addition, we design a straightforward yet effective prompt format to extract the output and enhance the quality of the generated log templates. We conducted experiments on 16 widely-used public datasets. The results show that DivLog achieves (1) 98.1% Parsing Accuracy, (2) 92.1% Precision Template Accuracy, and (3) 92.9% Recall Template Accuracy on average, exhibiting state-of-the-art performance.

研究の動機と目的

• ヒューリスティックルールやドメイン固有の特徴に依存する従来のログパーサーの限界を解消すること。
• 限定的な訓練データ上でモデルチューニングを必要とする深層学習ベースのパーサーの一般化性能が不十分であるという問題を克服すること。
• 微調整を伴わず、LLMsのコンテキスト内学習能力を活用するログパーサーフレームワークの開発。
• 多様なログソース、変動するテンプレート構造、非平衡な分布を持つ環境において、耐障害性と正確性を向上させること。
• 出力品質を向上させるとともに、一貫性のあるログテンプレート生成を保証するプロンプトフォーマットの設計。

提案手法

• LogDivは、ログテンプレート生成のためのコンテキスト内学習を実行するために、GPT-3をバックボーンのLLMとして使用する。
• 多様なログメッセージのサブセットを選択し、候補プロンプトのデモンストレーションセットを構成する。
• 各ターゲットログメッセージに対して、意味的類似度に基づいて候補セットから類似度上位5件のログを検索する。
• 検索されたログとその対応するテンプレートを、LLMの出力を導くために特別なプロンプトフォーマットに構造化する。
• このプロンプトフォーマットは、LLMの出力を有効なログテンプレート構文に制限するように特に設計されており、信頼性と品質の向上を図る。
• LogDivは、モデルの微調整や再訓練を一切行わず、LLMの推論により最終的なログテンプレートを生成する。

実験結果

リサーチクエスチョン

• RQ1 LLMsを用いたコンテキスト内学習は、モデル微調整や手作業特徴量の導入なしに、効果的にログテンプレートを抽出できるか？
• RQ2 テンプレートの複雑さや非平衡な分布が異なる多様なログソースにおいて、LogDivはどのように性能を発揮するか？
• RQ3 洗練されたプロンプトフォーマットは、LLMsからのログテンプレート生成の品質と一貫性を向上させられるか？
• RQ4 パース精度と耐障害性の観点から、LogDivは従来の非教師ありおよび教師ありログパーサーと比べてどのように差をつけるか？
• RQ5 高頻度のテンプレートと低頻度のテンプレートが顕著に異なるデータセット間で、LogDivは一般化性能を示せるか？

主な発見

• LogDivは16の公開データセット全体で97.7%のパース精度を達成し、既存手法を上回る性能を発揮した。
• 精度テンプレート精度は88.1%に達し、先行する最先端手法よりも顕著に高い水準であった。
• 再現率テンプレート精度は90.8%に達し、レアで複雑なログテンプレートのカバー率が非常に高いことを示している。
• 最良のベースラインと比較して、パース精度で3.86ポイント、精度テンプレート精度で20.4ポイント、再現率テンプレート精度で16.7ポイントの向上を達成した。
• MacやProxifierのような、テンプレートの多様性が高く、ログ頻度が非平衡なデータセットにおいても、安定した性能を示した。
• アブレーションスタディの結果、プロンプト設計と多様性を考慮した例選択の両方が、高い性能を発揮するために不可欠であることが確認された。