[논문 리뷰] LogBERT: Log Anomaly Detection via BERT

Haixuan Guo, Yuan, Shuhan외 1명|arXiv (Cornell University)|2021. 03. 07.

Software System Performance and Reliability참고 문헌 24인용 수 7

한 줄 요약

LogBERT는 정규 시퀀스 패턴을 학습하기 위해 마스킹된 로그 키 예측과 초구면체 부피 최소화를 활용한 자기지도 학습 기반 BERT 기반 프레임워크를 제안한다. 이는 세 가지 벤치마크 데이터셋에서 최신 기술을 초월하며, Thunderbird에서 최대 F1 점수 96.64와 HDFS에서 82.32를 기록한다.

ABSTRACT

Detecting anomalous events in online computer systems is crucial to protect the systems from malicious attacks or malfunctions. System logs, which record detailed information of computational events, are widely used for system status analysis. In this paper, we propose LogBERT, a self-supervised framework for log anomaly detection based on Bidirectional Encoder Representations from Transformers (BERT). LogBERT learns the patterns of normal log sequences by two novel self-supervised training tasks and is able to detect anomalies where the underlying patterns deviate from normal log sequences. The experimental results on three log datasets show that LogBERT outperforms state-of-the-art approaches for anomaly detection.

연구 동기 및 목표

• 로그 시퀀스에서 양방향적 맥락과 전반적인 시퀀스 패턴을 포착하는 데에 RNN 기반 모델의 한계를 해결하기 위해.
• 라벨이 부여된 이상 현상이 필요 없이 정상 로그 패턴을 학습할 수 있는 자기지도 학습 프레임워크를 개발하기 위해.
• 마스킹된 로그 키 예측과 초구면체 부피 최소화라는 두 가지 새로운 사전학습 작업을 결합하여 이상 탐지 성능을 향상시키기 위해.
• 기존 모델이 실패하는 짧거나 복잡한 시퀀스에서도 이상 로그 시퀀스를 효과적으로 탐지할 수 있도록 하기 위해.

제안 방법

• 양방향 맥락 인코딩을 통해 로그 시퀀스를 모델링하기 위해 BERT 스타일의 트랜스포머 인코더를 사용한다.
• 정상 시퀀스에서 무작위로 마스킹된 로그 키를 예측하기 위해 마스킹된 로그 키 예측 작업을 적용한다.
• 정상 로그 시퀀스 표현을 임베딩 공간에서 군집화하기 위해 초구면체 부피 최소화를 도입한다.
• 이상 탐지 점수를 위해 전체 로그 시퀀스를 나타내는 특수한 [DIST] 토큰을 사용한다.
• 사전학습 중에 두 가지 자기지도 학습 작업을 결합하여 강력한 정상 시퀀스 표현을 학습한다.
• 정상 시퀀스의 중심에서 시퀀스의 [DIST] 토큰 임베딩까지의 거리를 이상 점수로 사용한다.

실험 결과

연구 질문

• RQ1 BERT 기반 모델이 자기지도 사전학습을 통해 정상 로그 시퀀스 패턴을 효과적으로 학습할 수 있는가?
• RQ2 마스킹된 로그 키 예측과 초구면체 부피 최소화를 결합하면 단일 목표 사전학습보다 이상 탐지 성능이 향상되는가?
• RQ3 다양한 시퀀스 길이와 정상/이상 비율을 가진 다양한 로그 데이터셋에서 LogBERT의 성능은 어떠한가?
• RQ4 두 가지 자기지도 사전학습 작업이 표현 학습과 이상 탐지에 얼마나 기여하는가?
• RQ5 사전학습 중에 볼 수 없었던 새로운 이상 패턴에도 모델이 일반화 가능한가?

주요 결과

• LogBERT는 Thunderbird 데이터셋에서 F1 점수 96.64를 기록하며, 모든 베이스라인을 압도한다.
• HDFS 데이터셋에서 LogBERT는 두 가지 자기지도 학습 작업을 함께 훈련했을 때 F1 점수 82.32에 도달했으며, 이는 단일 작업 훈련보다 뚜렷한 향상이다.
• 제거 분석 결과, 두 사전학습 작업을 결합하면 단독으로 사용할 경우보다 더 뛰어난 성능을 내며, 특히 짧은 시퀀스에서 두드러진다.
• LLE를 사용한 시각화 결과, 초구면체 부피 최소화 작업이 잠재 공간에서 정상 및 이상 시퀀스를 효과적으로 분리함을 확인했다.
• 파라미터 분석 결과, 마스킹 비율이 0.1에서 0.5 사이일 때 성능 향상이 나타나며, 이보다 높은 비율은 정보 손실로 인해 성능 저하를 초래한다.
• 모델은 하이퍼파rameter 조정에 대해 강건하며, 다양한 α 값과 후보 집합 크기에서 안정적인 성능을 유지한다.