[論文レビュー] A Survey on Automated Log Analysis for Reliability Engineering

Shilin He, Pinjia He+4 more|arXiv (Cornell University)|Sep 15, 2020

Software System Performance and Reliability参考文献 171被引用数 35

ひとこと要約

自動化された信頼性工学のためのログ分析の包括的調査。ログ記録慣行、ログ圧縮、ログ解析、ログマイニング、データセット、ツールキット、将来の方向性をカバー。

ABSTRACT

Logs are semi-structured text generated by logging statements in software source code. In recent decades, software logs have become imperative in the reliability assurance mechanism of many software systems because they are often the only data available that record software runtime information. As modern software is evolving into a large scale, the volume of logs has increased rapidly. To enable effective and efficient usage of modern software logs in reliability engineering, a number of studies have been conducted on automated log analysis. This survey presents a detailed overview of automated log analysis research, including how to automate and assist the writing of logging statements, how to compress logs, how to parse logs into structured event templates, and how to employ logs to detect anomalies, predict failures, and facilitate diagnosis. Additionally, we survey work that releases open-source toolkits and datasets. Based on the discussion of the recent advances, we present several promising future directions toward real-world and next-generation automated log analysis.

研究の動機と目的

• ソフトウェア信頼性の研究を動機付け、ランタイムデータとしてのログの重要な役割を位置づける。
• 1997–2020年の158本の論文を統合する（ログ記録、圧縮、解析、マイニング、実証研究を横断）
• オープンソースのツールキットとデータセットを強調し、実践的な課題と産業慣行を特定する。

提案手法

• ログと信頼性に関連するターゲットキーワードを用いて、主要な刊行元から体系的に文献を収集した。
• 調査対象の論文を五つの焦点領域に分類した：ログ記録、ログ圧縮、ログ解析、ログマイニング、実証研究。
• 動向、オープンソース資源、実務上の課題を分析し、最先端とギャップを整理した。

実験結果

リサーチクエスチョン

• RQ1 信頼性工学の自動化ログ分析における主な研究方向は何か？
• RQ2 各方向を支配する技術（静的分析、機械学習、実証研究）は何か？
• RQ3 実務家や研究者が利用できるオープンソースツールとデータセットは何か？
• RQ4 ログ記録とログ分析の実運用課題に対応する将来の方向性は何か？

主な発見

• ログマイニングが最大の研究シェアを受けており、異常検知、故障予測、診断などの分解されたサブタスクによって推進されている。
• ログ記録の実践と保守は活発に研究されており、どこに記録するか、何を記録するか、どう記録するかが重視され、診断可能性、性能、保守性に注意。
• 複数のログ圧縮アプローチが存在する（バケットベース、辞書ベース、統計ベース）、それぞれ一般性、スケーラビリティ、ヒューリスティクスのトレードオフがある。
• いくつかのツールとデータセットが公開され、研究と実務の再現性を支援している。
• 学術的進歩と実運用展開の間にギャップがあり、将来の方向性は実世界の適用性と次世代のログ分析を強調している。