[논문 리뷰] A2Log: Attentive Augmented Log Anomaly Detection

Thorsten Wittkopp, Alexander Acker외 5명|arXiv (Cornell University)|2021. 09. 20.

Software System Performance and Reliability참고 문헌 26인용 수 6

한 줄 요약

A2Log는 이상 탐지 예제가 필요 없이 자기주의 어텐션 신경망을 사용한 이상도 평가 및 데이터 증강 기반의 결정 경계 학습을 통해 비지도 로그 이상 탐지 방법을 제안한다. 정상 훈련 데이터만을 사용하여 최적의 기준선과 비교할 만한 F1 점수를 달성하며, 세 가지 공개 및 한 개의 산업 데이터셋에서 DeepLog 및 3-Sigma를 모두 능가한다.

ABSTRACT

Anomaly detection becomes increasingly important for the dependability and serviceability of IT services. As log lines record events during the execution of IT services, they are a primary source for diagnostics. Thereby, unsupervised methods provide a significant benefit since not all anomalies can be known at training time. Existing unsupervised methods need anomaly examples to obtain a suitable decision boundary required for the anomaly detection task. This requirement poses practical limitations. Therefore, we develop A2Log, which is an unsupervised anomaly detection method consisting of two steps: Anomaly scoring and anomaly decision. First, we utilize a self-attention neural network to perform the scoring for each log message. Second, we set the decision boundary based on data augmentation of the available normal training data. The method is evaluated on three publicly available datasets and one industry dataset. We show that our approach outperforms existing methods. Furthermore, we utilize available anomaly examples to set optimal decision boundaries to acquire strong baselines. We show that our approach, which determines decision boundaries without utilizing anomaly examples, can reach scores of the strong baselines.

연구 동기 및 목표

• 이상 탐지 예제가 필요 없이 최적의 결정 경계를 설정할 수 있도록 비지도 로그 이상 탐지 방법의 한계를 해결하고자 한다.
• 정상 훈련 데이터만을 사용하여 이상도 평가 및 결정 경계 결정을 위한 완전한 비지도 접근법을 개발하고자 한다.
• 다양한 실제 환경 데이터셋, 특히 산업 데이터셋을 대상으로 성능을 평가하여 강건성과 성능을 입증하고자 한다.
• 이상 예제가 없는 조건에서 데이터 증강을 통한 비지도 결정 경계 학습이 레이블이 있는 이상 예제에 의존하는 기준선의 성능을 따라잡을 수 있는지 입증하고자 한다.
• 레이블이 있는 이상 예제가 희소하거나 이용 불가능한 생산 환경에서의 실용적 구현을 가능하게 하고자 한다.

제안 방법

• 자기주의 어텐션 트랜스포머 인코더를 사용하여 로그 메시지의 시퀀스 맥락 기반으로 이상도 점수를 생성한다.
• 정상 로그 시퀀스에 대해 확률 p=0.95로 단일 토큰을 '알 수 없는 토큰'(UNK)으로 대체함으로써 데이터 증강을 적용한다.
• 이러한 증강된 입력에 대한 모델의 반응을 분석하여 이상 분류를 위한 결정 경계를 도출한다.
• 가변 매개변수 α, p, β를 갖는 매개변수화된 함수 a(·)를 사용하여 결정 경계를 계산하며, 여기서 α=1 및 p=0.95는 모든 데이터셋에서 고정된다.
• 정상 로그와 안정화 클래스 샘플 간의 클래스 분포를 균형 잡기 위해 훈련 중 가중치 샘플러를 사용한다.
• 최종 이상 결정은 증강된 데이터에 대한 모델의 행동에서 유도된 임계값 ε과 이상도 점수를 비교하여 내린다.

실험 결과

연구 질문

• RQ1 이상 예제를 전혀 사용하지 않고도 비지도 이상 탐지 방법이 최적의 기준선 성능을 달성할 수 있는가?
• RQ2 이상 예제가 없을 경우, 정상적인 변동을 시뮬레이션하기 위해 데이터 증강이 얼마나 효과적으로 강건한 결정 경계를 학습하는가?
• RQ3 다양한 특성과 개념 드리프트를 보이는 로그 데이터셋 간에도 제안된 방법이 높은 성능을 유지하는가?
• RQ4 증강된 입력에 대한 모델 반응 분석을 통해 정상 훈련 데이터만으로도 결정 경계를 신뢰성 있게 학습할 수 있는가?
• RQ5 이 방법은 하이퍼파라미터 설정에 얼마나 민감한가? 그리고 최소한의 튜닝으로 다양한 데이터셋에 일반화 가능한가?

주요 결과

• BGL, Thunderbird, Spirit 데이터셋에서 모든 훈련 분할(10%, 20%, 40%, 60%)에 대해 A2Log는 최적 기준선(Best)과 비교할 만한 F1 점수를 달성한다.
• 산업 데이터셋에서는 A2Log가 3-Sigma 기준선을 능가하며, 제한된 훈련 데이터 조건에서도 최적의 결정 경계 성능을 달성한다.
• BGL 데이터셋의 개념 드리프트가 발생하더라도 A2Log는 강력한 성능 유지를 보이나, 매우 작은 훈련 세트에서는 성능이 약간 저하된다.
• 모든 데이터셋에서 α=1 및 p=0.95 매개변수는 안정적이며, 하이퍼파라미터 튜닝에 대해 낮은 민감도를 보임을 시사한다.
• 모든 평가된 데이터셋과 훈련 데이터 비율에서 A2Log는 DeepLog 및 3-Sigma를 일관되게 능가한다.
• 이 방법은 레이블이 있는 이상 데이터가 없이도 데이터 증강을 통한 비지도 결정 경계 학습이 실제 이상을 효과적으로 시뮬레이션할 수 있음을 입증한다.