[논문 리뷰] Self-Attentive Classification-Based Anomaly Detection in Unstructured Logs

Sasho Nedelkoski, Jasmin Bogatinovski외 3명|arXiv (Cornell University)|2020. 08. 21.

Software System Performance and Reliability참고 문헌 31인용 수 5

한 줄 요약

Logsy는 타겟 시스템의 정상 로그와 다양한 공개 보조 데이터셋에서 유래한 이상 로그를 구분하도록 훈련된 신경망을 통해 비정형 시스템 로그에 대한 자기주의적, 분류 기반 이상 탐지 방법을 제안한다. 새로운 초구면 손실 함수를 사용하여, 일반화 능력을 향상시키고 이전 방법 대비 0.25 F1 점수 향상을 달성하는 밀도 높고 의미가 풍부한 로그 표현을 학습한다.

ABSTRACT

The detection of anomalies is essential mining task for the security and reliability in computer systems. Logs are a common and major data source for anomaly detection methods in almost every computer system. They collect a range of significant events describing the runtime system status. Recent studies have focused predominantly on one-class deep learning methods on predefined non-learnable numerical log representations. The main limitation is that these models are not able to learn log representations describing the semantic differences between normal and anomaly logs, leading to a poor generalization of unseen logs. We propose Logsy, a classification-based method to learn log representations in a way to distinguish between normal data from the system of interest and anomaly samples from auxiliary log datasets, easily accessible via the internet. The idea behind such an approach to anomaly detection is that the auxiliary dataset is sufficiently informative to enhance the representation of the normal data, yet diverse to regularize against overfitting and improve generalization. We propose an attention-based encoder model with a new hyperspherical loss function. This enables learning compact log representations capturing the intrinsic differences between normal and anomaly logs. Empirically, we show an average improvement of 0.25 in the F1 score, compared to the previous methods. To investigate the properties of Logsy, we perform additional experiments including evaluation of the effect of the auxiliary data size, the influence of expert knowledge, and the quality of the learned log representations. The results show that the learned representation boost the performance of the previous methods such as PCA with a relative improvement of 28.2%.

연구 동기 및 목표

• 단일 클래스 딥 러닝 방법이 로그 이상 탐지에서 정상 로그 표현이 유연하지 않고 의미가 없어 일반화 능력이 떨어지는 문제를 해결한다.
• 새로운 로그 메시지에서 실패하는 로그 파싱 및 템플릿 기반 모델의 한계를 극복한다.
• 다양하고 쉽게 확보할 수 있는 보조 로그 데이터셋을 정규화 요소로 활용하여 모델의 강건성과 일반화 능력을 향상시킨다.
• 광범위한 전문가 레이블링이 필요 없이 정상 로그와 이상 로그 간의 의미적 차이를 포착하는 표현 학습 방법을 개발한다.
• 학습된 로그 임베딩이 Logsy 자체 뿐 아니라 기존의 전통적 방법(예: PCA)에도 향상 효과를 줄 수 있음을 입증한다.

제안 방법

• 원시 로그 메시지를 조밀한 벡터 표현으로 매핑하기 위해 자기주의적 인코더 네트워크를 훈련하고, 대조 분류 목적을 사용한다.
• 정상 로그 임베딩이 초구면 내 원점 부근에 조밀하게 뭉치도록 유도하고, 이상 로그 임베딩은 외곽으로 밀어내는 초구면 손실 함수를 사용한다.
• 타겟 시스템 로그(정상)와 다양한 보조 데이터셋의 로그(이상)를 조합하여 훈련하고, 이 작업을 이진 분류 문제로 간주한다.
• 장거리 의존성과 비정형 로그 시퀀스의 의미적 구조를 포착하기 위해 사전 훈련된 트랜스포머 스타일의 주의 메커니즘을 활용한다.
• 학습된 임베딩의 기하학적 구조를 분석하기 위해 T-SNE 시각화를 적용하여, 정상 로그가 중심에 집중되어 있고 이상 로그가 외부로 산산이 흩어져 있음을 확인한다.
• 학습된 로그 임베딩을 추출하고 이를 기존 기반 방법(예: PCA)에 다시 적용하여 다양한 이상 탐지 파이프라인에서의 일반적 유용성을 평가한다.

실험 결과

연구 질문

• RQ1 보조 로그 데이터셋을 활용한 분류 기반 접근법이 단일 클래스 학습 대비 로그 이상 탐지에서 일반화 능력을 향상시키는가?
• RQ2 제안된 초구면 손실 함수가 밀도 있고 구분력 있는 로그 표현을 학습하는 데 얼마나 효과적인가?
• RQ3 타겟 시스템에서 조그만 양의 레이블러된 이상 데이터를 포함시키면 탐지 성능 향상에 어느 정도 기여하는가?
• RQ4 학습된 로그 임베딩을 기존의 딥 러닝이 아닌 방법(예: PCA)에 전이하여 성능 향상에 기여할 수 있는가?
• RQ5 보조 데이터셋의 크기와 다양성이 학습된 표현의 강건성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• Logsy는 이전 최고 성능 방법 대비 평균 F1 점수 0.25 향상을 달성한다.
• 단 한 개의 보조 로그 샘플만으로도 초구면 손실를 정규화하고 임의의 해를 방지할 수 있으며, 손실 함수의 강력한 인덕티브 바이어스를 시사한다.
• 타겟 시스템에서 2%의 레이블러된 이상 데이터를 포함시켜도 F1 점수가 0.8까지 상승하며, 이는 방법의 높은 샘플 효율성을 보여준다.
• 학습된 로그 임베딩은 기존의 전통적 방법을 크게 향상시킨다: TF-IDF 대신 Logsy 임베딩을 사용하면 PCA의 평균 F1 점수 28.2% 향상된다.
• T-SNE 시각화 결과 정상 로그가 초구면 중심에 조밀하게 뭉쳐 있고 이상 로그가 외곽으로 흩어져 있음을 확인하여, 초구면 손실의 기하학적 의도가 검증된다.
• 다양한 벤치마크 데이터셋(Blue Gene/L, Thunderbird, Spirit 포함)에서 일관된 성능 향상으로 인해, 예측할 수 없는 로그로의 일반화 능력이 뛰어나다는 것이 입증된다.