[論文レビュー] A Comprehensive Survey of Logging in Software: From Logging Statements Automation to Log Mining and Analysis

Sina Gholamian, Paul A. S. Ward|arXiv (Cornell University)|Oct 24, 2021

Software System Performance and Reliability被引用数 12

ひとこと要約

この包括的なサーベイは、自動ログ記述子生成から高度なログマイニングおよび分析技術に至るまで、ソフトウェアシステムにおけるログ記録の実践を体系的にレビューする。トップランクの会議およびジャーナルから100件を超える研究を統合し、ログ自動化、異常検出、障害診断、AIOps分野における主なトレンドを特定するとともに、課題と機会を提示し、ソフトウェアログおよびログ分析分野における今後の研究の基盤的ロードマップを提供する。

ABSTRACT

Logs are widely used to record runtime information of software systems, such as the timestamp and the importance of an event, the unique ID of the source of the log, and a part of the state of a task's execution. The rich information of logs enables system developers (and operators) to monitor the runtime behaviors of their systems and further track down system problems and perform analysis on log data in production settings. However, the prior research on utilizing logs is scattered and that limits the ability of new researchers in this field to quickly get to the speed and hampers currently active researchers to advance this field further. Therefore, this paper surveys and provides a systematic literature review and mapping of the contemporary logging practices and log statements' mining and monitoring techniques and their applications such as in system failure detection and diagnosis. We study a large number of conference and journal papers that appeared on top-level peer-reviewed venues. Additionally, we draw high-level trends of ongoing research and categorize publications into subdivisions. In the end, and based on our holistic observations during this survey, we provide a set of challenges and opportunities that will lead the researchers in academia and industry in moving the field forward.

研究の動機と目的

• ソフトウェアログに関する先行研究の断片的な状態を是正するため、ログ記録実践およびログ分析技術について統一的かつ体系的なレビューを提供すること。
• ログ自動化、ログパースィング、異常検出、障害診断などの明確なサブドメインに分類可能な既存の研究を特定・分類すること。
• 時間経過に伴うログ記録研究の進化を分析し、ログ管理および分析分野における主なトレンドと繰り返し現れる課題を浮き彫りにすること。
• AIOps、DevOps、システム監視における応用を含め、ログマイニングおよび分析分野における現在の最先端技術の包括的把握を提供すること。
• ソフトウェアログおよびログ駆動型システム診断分野における研究および実務を前進させるための未解決の課題と新たな機会を同定すること。

提案手法

• 2005年から2021年までの間、トップランクの国際会議およびジャーナルから抽出された112件の査読済み論文を対象に、体系的文献レビュー（SLR）および体系的マッピング（SM）を実施した。
• 研究の焦点に基づき、テーマ別カテゴリ（ログ自動化、ログパースィング、ログ分析、異常検出、障害診断、および新たな応用）に分類した。
• 初期のキーワード検索ではカバーされなかった関連研究を同定・統合するために、スノーボール手法を採用した。
• サブドメインごとの出版動向、引用パターン、および手法的アプローチを分析し、研究ギャップおよび新たな研究方向性を同定した。
• 機械学習および統計モデルを含む、さまざまなログマイニングおよび分析手法の有効性と限界を評価した。
• ログの多様性、スケーラビリティ、ログ記録コストといった課題を体系的に要約し、今後の研究方向性を提案した。

実験結果

リサーチクエスチョン

• RQ1 2005年から2021年の間に、ソフトウェアログ研究で支配的だった研究テーマとトレンドは何か？
• RQ2 ログ記述子の自動化およびログマイニングの技術はどのように進化してきたのか？ その主な制限要因は何か？
• RQ3 分散型およびクラウド環境におけるログベースの異常検出および障害診断で最も効果的なアプローチは何か？
• RQ4 既存のログ分析手法は、AIOps、DevOps、およびシステム監視パイプラインとどのように統合されているか？
• RQ5 パフォーマンスのオーバーヘッド、パースィングの正確性、ツール間相互運用性を含む、ログ管理における主な課題は何か？

主な発見

• ソフトウェアログ分野は、基本的なログ生成から高度なログマイニングおよびAIOpsへと進化しており、異常検出および障害診断に機械学習がますます活用されている。
• 進展は見られるものの、ログ自動化は依然として主に手作業的かつ一時的なものであり、ログ記錵のベストプラクティスに関する標準化されたガイドラインは存在しない。
• ログメッセージの自由形式的かつ多様な性質から、ログパースィングおよび正規化は依然として主要な課題のままである。
• 教師なしおよび半教師ありモデルを含む機械学習ベースのログ分析手法は、ラベルなしデータでも異常を検出する上で強く有望な兆しを示している。
• イベント相関マイニングやフローレコントラクションを含むログベースの障害診断手法は、分散型システムにおける根本原因同定を著しく改善した。
• コードカバレッジ推定、エネルギー影響分析、ユーザ行動モデリングといったログの新たな応用は、デバッグを超えたログの役割拡大を示している。