[論文レビュー] LILAC: Log Parsing using LLMs with Adaptive Parsing Cache

Zhihan Jiang, Jinyang Liu+7 more|arXiv (Cornell University)|Oct 3, 2023

Natural Language Processing Techniques被引用数 6

ひとこと要約

LILAC は、適応的パースキャッシュを活用して高精度かつ効率的なログパースを実現する、大規模言語モデル（LLMs）を活用する新しいログパースフレームワークである。高品質なコンテキスト内学習（in-context learning）のための階層的候補サンプリングを用いることで、LLMの推論精度を向上させるとともに、事前にパースされたテンプレートを動的にキャッシュ/更新する仕組みにより、最先端の手法よりも F1 スコアを 69.5% 向上させるとともに、LLM クエリ回数を数個のオーダー単位で削減する。

ABSTRACT

Log parsing transforms log messages into structured formats, serving as the prerequisite step for various log analysis tasks. Although a variety of log parsing approaches have been proposed, their performance on complicated log data remains compromised due to the use of human-crafted rules or learning-based models with limited training data. The recent emergence of powerful large language models (LLMs) demonstrates their vast pre-trained knowledge related to code and logging, making it promising to apply LLMs for log parsing. However, their lack of specialized log parsing capabilities currently hinders their accuracy in parsing. Moreover, the inherent inconsistent answers, as well as the substantial overhead, prevent the practical adoption of LLM-based log parsing. To address these challenges, we propose LILAC, the first practical log parsing framework using LLMs with adaptive parsing cache. To facilitate accurate and robust log parsing, LILAC leverages the in-context learning (ICL) capability of the LLM by performing a hierarchical candidate sampling algorithm and selecting high-quality demonstrations. Furthermore, LILAC incorporates a novel component, an adaptive parsing cache, to store and refine the templates generated by the LLM. It helps mitigate LLM's inefficiency issue by enabling rapid retrieval of previously processed log templates. In this process, LILAC adaptively updates the templates within the parsing cache to ensure the consistency of parsed results. The extensive evaluation on public large-scale datasets shows that LILAC outperforms state-of-the-art methods by 69.5% in terms of the average F1 score of template accuracy. In addition, LILAC reduces the query times to LLMs by several orders of magnitude, achieving a comparable efficiency to the fastest baseline.

研究の動機と目的

• 実世界のシステムにおける LLM を用いたログパースの低精度と高い推論コストを解決すること。
• 大規模かつ複雑なログデータを処理する際の LLM の一貫性の欠如と非効率性を克服すること。
• 大量のラベル付きデータに依存することを減らし、最小限の人工作成されたデモを用いた効果的なコンテキスト内学習を可能にすること。
• 新しい適応的パースキャッシュ機構を導入することで、パースの堅牢性と効率性を向上させること。
• 生産環境のログ分析パイプラインにおける LLM の実用的導入を可能にすること。

提案手法

• 階層的候補サンプリングアルゴリズムを用いて、高品質なログメッセージデモを選び、コンテキスト内学習（ICL）を活用する。
• パース済みのログテンプレートを格納・取得するための適応的パースキャッシュを採用し、重複する LLM クエリを削減する。
• 意味的類似度を用いて新しいログメッセージを既存のテンプレートと照合することで、一貫性を保証するキャッシュマッチング機構を導入する。
• 適応的テンプレート更新を適用し、時間経過とともにキャッシュされたテンプレートを精錬・進化させ、長期的なパースの一貫性を向上させる。
• 手動でラベル付けされた少数のログメッセージ（例：32 個）を用いて ICL プロセスをブートストラップし、アノテーションのオーバーヘッドを最小限に抑える。
• LLM 推論とキャッシュベースの検索を組み合わせることで、精度と効率のバランスを図り、ベースラインに近い速度を達成する。

実験結果

リサーチクエスチョン

• RQ1 大規模な微調整や大量のラベル付きデータがなくても、LLM を効果的かつ効率的にログパースに活用できるか？
• RQ2 繰り返し推論が行われる際、LLM の固有の一貫性の欠如をどのように緩和できるか？
• RQ3 適応的キャッシュ機構は、高精度を維持しつつ、どの程度 LLM クエリの回数を削減できるか？
• RQ4 最小限のラベル付き例を用いて、コンテキスト内学習により高精度なログパースを達成できるか？
• RQ5 実世界のデータセットにおいて、提案フレームワークは最先端のログパーサーと比べて、精度と効率の面でどのように差をつけるか？

主な発見

• LILAC は、公開の大規模データセットにおいて、最先端のログパーサーと比較して平均 F1 スコアを 69.5% 向上させた。
• フレームワークは LLM クエリ回数を数個のオーダー単位で削減し、最も高速な非 LLM ベースのベースラインに近い効率性を達成した。
• わずか 32 個のラベル付きログメッセージを用いることで、LILAC は著しく向上したパース精度を達成し、ICL とキャッシュ戦略の有効性を示した。
• 適応的パースキャッシュにより、繰り返しクエリが行われても一貫したテンプレート生成が保証され、LLM ベースパースの主要な制限要因が解消された。
• キャッシュ機能を欠如させ、高いクエリオーバーヘッドを抱える LLM-Parsing や LogDiv といった既存の LLM ベース手法と比較して、LILAC は優れた性能を発揮した。
• 複雑な実世界のログデータセットに対しても、LILAC は高い精度を維持し、堅牢性とスケーラビリティを示した。