[논문 리뷰] A Comprehensive Study of Machine Learning Techniques for Log-Based Anomaly Detection

Shan E Ali, Chaima Boufaied외 3명|arXiv (Cornell University)|2023. 07. 31.

Software System Performance and ReliabilityComputer Science인용 수 3

한 줄 요약

이 논문은 로그 기반 이상 탐지(LAD)를 위한 전통적 및 딥 러닝 기법을 비교하는 종합적인 실험 연구를 제시한다. 특히 감지 정확도, 시간 성능, 하이퍼파rameter 조정에 대한 민감도를 평가한다. 결과적으로, 감지 정확도, 속도, 하이퍼파rameter 변화에 대한 강건성 면에서 Supervised 전통적 모델, 특히 Random Forest가 딥 러닝 방법을 모두 앞서며, 반면, Semi-supervised 기법은 감지 정확도가 현저히 열 劣하다.

ABSTRACT

Growth in system complexity increases the need for automated log analysis techniques, such as Log-based Anomaly Detection (LAD). While deep learning (DL) methods have been widely used for LAD, traditional machine learning (ML) techniques can also perform well depending on the context and dataset. Semi-supervised techniques deserve the same attention as they offer practical advantages over fully supervised methods. Current evaluations mainly focus on detection accuracy, but this alone is insufficient to determine the suitability of a technique for a given LAD task. Other aspects to consider include training and prediction times as well as the sensitivity to hyperparameter tuning, which in practice matters to engineers. This paper presents a comprehensive empirical study evaluating a wide range of supervised and semi-supervised, traditional and deep ML techniques across four criteria: detection accuracy, time performance, and sensitivity to hyperparameter tuning in both detection accuracy and time performance. The experimental results show that supervised traditional and deep ML techniques fare similarly in terms of their detection accuracy and prediction time on most of the benchmark datasets considered in our study. Moreover, overall, sensitivity analysis to hyperparameter tuning with respect to detection accuracy shows that supervised traditional ML techniques are less sensitive than deep learning techniques. Further, semi-supervised techniques yield significantly worse detection accuracy than supervised techniques.

연구 동기 및 목표

• 감지 정확도를 넘어서 LAD를 위한 전통적 및 딥 러닝 기법을 체계적으로 평가하기 위해.
• 다양한 머신러닝 기법에서 하이퍼파rameter 조정이 감지 정확도와 시간 성능에 미치는 영향을 평가하기 위해.
• 실제 벤치마크 데이터셋을 사용하여 Supervised 및 Semi-supervised 접근 방식, 전통적 및 딥 러닝 모델을 비교하기 위해.
• 정확도, 효율성, 하이퍼파rameter 변화에 대한 강건성 기반으로 LAD에 최적의 머신러닝 기법을 선택하는 데 실용적 지침을 제공하기 위해.

제안 방법

• 연구는 두 가지 벤치마크 데이터셋인 HDFS와 Hadoop에서 SVM, Random Forest, LSTM, LogRobust 등의 4가지 Supervised 기법과 OC-SVM, DeepLog 등의 2가지 Semi-supervised 기법을 평가한다.
• 로그 템플릿 추출을 위해 Drain을 사용하여 로그 파싱을 수행하고, 이를 고정 또는 슬라이딩 윈도우로 그룹화하여 템플릿 시퀀스를 구성한다.
• 특징 추출은 DeepLog용 인덱스 기반 인코딩 또는 의미적 벡터화(예: FastText, word2vec with PPA)를 통해 로그 시퀀스를 표현한다.
• 모델 학습 및 예측은 다양한 설정에서 감지 정확도, 학습 시간, 예측 시간, 하이퍼파rameter 조정 민감도를 평가한다.
• 모든 기법에 대해 체계적인 하이퍼파rameter 조정을 수행하고, 성능 변동 범위를 통해 민감도를 측정한다.
• 실험은 HDFS와 Hadoop이라는 두 가지 널리 사용되는 공개 데이터셋에서 수행되며, 각 데이터셋 및 기법별로 결과를 분석한다.

실험 결과

연구 질문

• RQ1 RQ1: LAD에서 Supervised 전통적 및 딥 러닝 기법은 감지 정확도 및 시간 성능 측면에서 어떻게 비교되는가?
• RQ2 RQ2: 다양한 머신러닝 기법에서 감지 정확도 및 시간 성능이 하이퍼파rameter 조정에 얼마나 민감한가?
• RQ3 RQ3: 감지 정확도 및 성능 지표 측면에서 Semi-supervised 기법은 Supervised 기법보다 어떻게 비교되는가?
• RQ4 RQ4: 다양한 데이터셋에서 정확도, 효율성, 하이퍼파arameter 변화에 대한 강건성의 균형을 가장 잘 만족하는 머신러닝 기법은 무엇인가?

주요 결과

• Supervised 전통적 및 딥 러닝 기법은 거의 동일한 감지 정확도와 예측 시간을 기록하며, 두 기법 간 성능 격차가 없었다.
• Random Forest는 HDFS 및 Hadoop 데이터셋 모두에서 감지 정확도 및 시간 성능 면에서 하이퍼파arameter 조정에 가장 낮은 민감도를 보였다.
• Supervised 전통적 모델인 Random Forest 및 SVM은 LSTM 및 LogRobust와 같은 딥 러닝 모델에 비해 훨씬 낮은 학습 및 예측 시간을 기록했다.
• Semi-supervised 기법(OC-SVM 및 DeepLog)은 데이터셋이나 모델 유형에 관계없이 Supervised 방법보다 현저히 열 劣한 감지 정확도를 기록했다.
• HDFS에서 DeepLog는 학습 시간 측면에서 하이퍼파arameter 조정에 더 민감했고, Hadoop에서는 OC-SVM가 더 낮은 민감도를 보여, 데이터셋에 따라 행동이 다름을 시사했다.
• Hadoop에서는 OC-SVM이 감지 정확도, 학습 시간, 하이퍼파arameter 민감도 면에서 DeepLog를 모두 앞섰고, HDFS에서는 DeepLog가 더 정확하고 빠르며 하이퍼파arameter 민감도도 낮았다.