[논문 리뷰] Experience Report: Deep Learning-based System Log Analysis for Anomaly Detection

Zhuangbin Chen, Jinyang Liu외 3명|arXiv (Cornell University)|2021. 07. 13.

Software System Performance and Reliability참고 문헌 57인용 수 63

한 줄 요약

이 논문은 여섯 개의 DL 기반 로그 이상 탐지기를(네 가지 비지도, 두 가지 지도)을 두 개의 공개 데이터세트(HDFS, BGL)로 평가하고 벤치마킹하며 오픈 소스 도구킷을 공개하고 정확도, 로버스트니스, 효율성을 분석한다. 일반적으로 지도 방법이 비지도 방법보다 우수하고 로그 의미론이 성능을 향상시킨다.

ABSTRACT

Logs have been an imperative resource to ensure the reliability and continuity of many software systems, especially large-scale distributed systems. They faithfully record runtime information to facilitate system troubleshooting and behavior understanding. Due to the large scale and complexity of modern software systems, the volume of logs has reached an unprecedented level. Consequently, for log-based anomaly detection, conventional manual inspection methods or even traditional machine learning-based methods become impractical, which serve as a catalyst for the rapid development of deep learning-based solutions. However, there is currently a lack of rigorous comparison among the representative log-based anomaly detectors that resort to neural networks. Moreover, the re-implementation process demands non-trivial efforts, and bias can be easily introduced. To better understand the characteristics of different anomaly detectors, in this paper, we provide a comprehensive review and evaluation of five popular neural networks used by six state-of-the-art methods. Particularly, four of the selected methods are unsupervised, and the remaining two are supervised. These methods are evaluated with two publicly available log datasets, which contain nearly 16 million log messages and 0.4 million anomaly instances in total. We believe our work can serve as a basis in this field and contribute to future academic research and industrial applications.

연구 동기 및 목표

• 현대 소프트웨어 시스템의 규모와 복잡성으로 인한 DL 기반 로그 이상 탐지의 필요성 제기.
• 대표적인 신경망 기반 탐지기 다섯 모델을 포함한 여섯 방법에 대한 포괄적 비교 제공.
• 업계와 연구에서의 채택 및 재현 용이성을 위한 오픈 소스 도구킷 제공.
• 정밀도, 재현율, F1에 걸쳐 정확도, 로버스트니스, 효율성 측면에서 DL 기반 탐 detectors와 전통 ML 베이스라인 비교 벤치마크.

제안 방법

• 여섯 DL 기반 로그 이상 탐지기를(네 가지 비지도, 두 가지 지도) 검토하고 분류한다.
• 손실 함수를 예측(forecasting), 재구성(reconstruction), 또는 지도 목표로 형식화하여 모델 학습을 안내한다.
• 로그 파싱 및 로그 임베딩을 적용하여 반구조화 로그를 DL 모델의 시퀀스로 변환한다.
• 두 공개 데이터세트(HDFS 및 BGL)에서 정밀도, 재현율, F1을 지표로 평가한다.
• 여섯 가지 방법을 재사용 가능하도록 구현한 PyTorch 기반 오픈 소스 도구킷을 공개한다.

실험 결과

연구 질문

• RQ1 DL 기반 로그 이상 탐지기는 표준 로그 데이터세트에서 정확도, 로버스트니스 및 효율성 면에서 어떻게 비교되는가?
• RQ2 로그의 의미 정보 통합이 탐지기 성능에 미치는 영향은 무엇인가?
• RQ3 실무에서 로그 이상 탐지에 대한 지도 학습과 비지도 학습 DL 방법은 실제로 어떻게 비교되는가?
• RQ4 훈련 데이터의 이상치 비율이 탐지기 성능에 미치는 영향은 무엇인가?

주요 결과

• 지도 DL 방법은 일반적으로 비지도 방법보다 두 데이터세트 모두에서 더 우수하다(예: 지도 방법의 F1이 약 0.97–0.98 수준).
• 비지도 LSTM은 비시맨틱 설정에서 HDFS에서 최고의 F1 0.944를, BGL에서 0.961을 달성했다.
• 로그 의미론을 도입하면 대부분의 모델의 성능이 향상된다; BGL에서 시맨틱스가 있는 경우 최고의 F1은 CNN에서 0.989, 비지도 설정에서 LSTM은 0.967에 도달한다.
• 로그의 의미론은 특히 Autoencoder 및 LSTM을 포함한 비지도 방법에 이점이 크며, 예를 들어 일부 설정에서 Autoencoder가 F1을 약 15% 향상시키는 등 큰 향상을 보인다.
• 전통 ML 베이스라인과 비교할 때 DL 기반 방법이 일반적으로 더 잘 작동하며, 여러 전통적 방법은 두 데이터세트 모두에서 DL 접근법 아래에 위치하는 경우가 많다.
• 여섯 가지 탐지기를 재사용 및 재현을 돕기 위해 오픈 소스 도구킷(deep-loglizer)이 제공된다.