[論文レビュー] LogStamp: Automatic Online Log Parsing Based on Sequence Labelling

Shimin Tao, Weibin Meng+7 more|arXiv (Cornell University)|Aug 10, 2022

Software System Performance and Reliability被引用数 4

ひとこと要約

LogStampは、BERTとタガーベースのシーケンスラベル付けを用いてログパースィングをシーケンスラベル付けタスクとして定式化するオンラインログパースィング手法であり、最小限の学習データで高い精度を達成できる。わずか10%の学習データを使用しても平均精度0.956を達成し、新規または変化するシステムログのリアルタイム分析に効果的である。

ABSTRACT

Logs are one of the most critical data for service management. It contains rich runtime information for both services and users. Since size of logs are often enormous in size and have free handwritten constructions, a typical log-based analysis needs to parse logs into structured format first. However, we observe that most existing log parsing methods cannot parse logs online, which is essential for online services. In this paper, we present an automatic online log parsing method, name as LogStamp. We extensively evaluate LogStamp on five public datasets to demonstrate the effectiveness of our proposed method. The experiments show that our proposed method can achieve high accuracy with only a small portion of the training set. For example, it can achieve an average accuracy of 0.956 when using only 10% of the data training.

研究の動機と目的

• 新しいログタイプが継続的に出現する動的で変化しやすい本番環境におけるオンラインログパースィングの課題に対処すること。
• 高い精度を達成するには膨大な量の歴史的ログデータを必要とする従来のログパースィング手法の限界を克服すること。
• シーケンスラベル付けと事前学習済み言語モデルを活用することで、歴史的ログが限られる新規サービスに対してもリアルタイムかつ正確なログパースィングを可能にすること。
• 構造や語彙が異なる多様なログデータセットにおいて、特に低データ環境下でも頑健なパフォーマンスを発揮すること。

提案手法

• ログパースィングを、ログ内の各トークンがテンプレートの一部か変数プレースホルダーかをラベルづけるシーケンスラベルリング問題に変換する。
• BERTを用いてログシーケンスの文脈的表現をエンコードし、意味的・文法的パターンを捉えてテンプレート同定を向上させる。
• BERTでエンコードされた埋め込み表現を用いて、シーケンスタガーモデル（例：LSTM）を学習させ、ログ行内の各トークンのラベルを予測する。
• ログを逐次処理することでオンラインパースィングをサポートし、バッチ処理を必要とせずリアルタイムでのテンプレート抽出を実現する。
• ログ固有のデータでBERTを微調整することで、ログ固有の言語パターンとの整合性を高めるが、実験ではこの設定での向上が限定的であることが示された。
• 2段階のプロセスを採用：まずラベル付きログシーケンスでオフラインで事前学習しテンプレートパターンを学習し、その後オンライン推論でリアルタイムパースィングを実行する。

実験結果

リサーチクエスチョン

• RQ1 LogStampは、最小限の学習データでオンラインログパースィングにおいて高い精度を達成できるか？
• RQ2 10%のデータセットのみを用いた場合を含め、さまざまな規模の学習データに対してLogStampのパフォーマンスはどれほど安定しているか？
• RQ3 BERTとシーケンスタガーモデル（例：LSTM、CNN）が全体のパースィング精度に果たす寄与度は何か？
• RQ4 公開データセット上での精度とスケーラビリティの観点から、LogStampは従来のログパースィング手法と比べてどのように差をつけるか？

主な発見

• LogStampは、5つの公開データセットで10%の学習データのみを用いても平均パーサンス精度0.956を達成した。
• モデルは5つのすべてのデータセットで高い安定性と精度を維持し、小さな学習データセットでもオンライン精度が常に0.95を上回った。
• LSTMベースのタガーモデルがGCN、RNN、CNNを上回り、すべてのデータセットで最高の精度を達成した。
• BERT-base、BERT-small、BERT-tinyは同等のパフォーマンスを示し、この設定ではモデルサイズが精度に顕著な影響を及ぼさないことが示された。
• モデルは優れた一般化性能を示し、HadoopおよびBGLデータセットでは最小限のデータでもオンライン精度が0.997を上回った。
• ログデータでBERTを微調整しても、クラスタリングやパーサンス性能に一貫した向上が得られなかったため、事前学習済みBERTがこのタスクに十分なログの意味的特徴を捉えていると示唆された。