[논문 리뷰] Detecting Log Anomalies with Multi-Head Attention (LAMA)

Yicheng Guo, Yujin Wen외 3명|arXiv (Cornell University)|2021. 01. 07.

Software System Performance and Reliability참고 문헌 11인용 수 6

한 줄 요약

이 논문은 RNN에 의존하지 않고 로그 스트림의 순차적 패턴을 활용하는 경량 다중 헤드 자기주의 모델인 LAMA를 제안한다. 다음 이벤트 예측 작업을 통해 훈련함으로써 LAMA는 HDFS 데이터셋에서 F1 스코어 0.985를 달성하여 기존의 통계적 및 딥러닝 방법들을 능가하며, 로그 시퀀스에서 장거리 의존성을 포착하는 데 자기주의의 효과성을 입증한다.

ABSTRACT

Anomaly detection is a crucial and challenging subject that has been studied within diverse research areas. In this work, we explore the task of log anomaly detection (especially computer system logs and user behavior logs) by analyzing logs' sequential information. We propose LAMA, a multi-head attention based sequential model to process log streams as template activity (event) sequences. A next event prediction task is applied to train the model for anomaly detection. Extensive empirical studies demonstrate that our new model outperforms existing log anomaly detection methods including statistical and deep learning methodologies, which validate the effectiveness of our proposed method in learning sequence patterns of log data.

연구 동기 및 목표

• 장거리 의존성을 포착하지 못하거나 높은 계산 복잡도로 인해 성능이 떨어지는 기존 로그 이상 탐지 방법의 한계를 해결하기 위해.
• RNN 기반 아키텍처를 순수 주의 메커니즘으로 대체하는 경량이고 효율적인 로그 이상 탐지 모델을 개발하기 위해.
• 다중 헤드 자기주의를 사용하여 로그 이벤트 스트림의 내재된 순차적 패턴을 모델링하여 탐지 정확도를 향상시키기 위해.
• 생산 환경에서 흔한 OOV(Out-of-Vocabulary) 이벤트가 포함된 실제 로그 데이터셋에서 모델의 강건성 평가를 위해.

제안 방법

• LAMA는 트랜스포머 아키텍처를 영감으로 받아 로그 이벤트 스트림의 순차적 의존성을 모델링하는 다중 헤드 자기주의 메커니즘을 사용한다.
• 로그 시퀀스는 고정 길이 l의 슬라이딩 윈도우를 통해 형성되며, 각 시퀀스는 시퀀스의 다음 이벤트를 예측하는 데 사용된다.
• 모델은 엔드 투 엔드로 다음 이벤트 예측 작업에서 훈련되며, 이상 탐지는 상위-k 후보 중에서 정확한 다음 이벤트를 예측하지 못하는 것으로 간주된다.
• 디코더 헤드를 제외함으로써 순차적 생성을 위한 것이 아니라 로그 이상 탐지에 최적화된 가벼운 설계를 확보한다.
• 임베딩 레이어는 로그 이벤트를 밀도 벡터로 매핑하고, 피드포워드 네트워크는 주의 표현을 처리한 후 예측을 수행한다.
• 모델은 예측 작업에 대해 교차 엔트로피 손실을 사용하며, 드롭아웃과 레이어 정규화를 통해 정규화를 수행한다.

실험 결과

연구 질문

• RQ1 RNN 없이 자기주의 기반 모델이 로그 이벤트 시퀀스에서 장거리 의존성을 효과적으로 학습할 수 있는가?
• RQ2 LAMA의 성능은 표준 로그 이상 탐지 벤치마크에서 최신의 통계적 및 딥러닝 방법과 비교해 어떻게 되는가?
• RQ3 실제 로그 데이터에서 흔한 OOV 이벤트에 대해 LAMA는 얼마나 강건한가?
• RQ4 주의 헤드 수와 레이어 수를 변경할 경우 모델 성능과 안정성에 어떤 영향을 미치는가?

주요 결과

• LAMA는 HDFS 데이터셋의 80/20 분할에서 F1 스코어 0.985를 기록하여 Isolation Forest, PCA, Invariant Mining 등의 기준 모델을 크게 능가한다.
• 더 많은 OOV 이벤트를 포함하는 1/99 분할에서도 LAMA는 F1 스코어 0.946을 유지하며 희귀 이벤트에 대한 강건성을 입증한다.
• LSTM 기반 기준 모델보다 빠른 수렴 속도를 보이며, 단일 Tesla V100 GPU에서 한 시간 이내에 훈련이 완료된다.
• 절단 실험 결과, 8개의 주의 헤드와 4~6개의 레이어가 최적의 성능을 내며, 더 적은 헤드 수는 높은 분산과 불안정성을 초래한다.
• 다양한 실행에서 모델 성능이 안정적이며, 낮은 표준편차를 보이며 일관된 학습 행동을 나타낸다.
• 디코더가 없는 경량 설계 덕분에 LAMA는 DeepLog과 같은 seq2seq 기반 모델보다 효율적이며, 뛰어난 정확도를 유지한다.