[논문 리뷰] Detecting Anomalies in Software Execution Logs with Siamese Network

Shayan Hashemi, Mika Mäntylä|arXiv (Cornell University)|2021. 02. 02.

Software System Performance and Reliability참고 문헌 32인용 수 4

한 줄 요약

이 논문은 정상 및 비정상 시퀀스 간의 유사성을 임bedding 공간에서 근접하게 만들기 위해 대조 학습을 활용하는 시아모이즈 LSTM 네트워크를 제안한다. 이는 HDFS 로그 데이터셋에서 SOTA F1-스코어 0.996를 달성하며, 새로운 쌍 생성 방법을 통해 학습 쌍을 3000배 감소시켜도 높은 정확도를 유지한다. 또한 인간-인간 분석을 위한 해석 가능한 비지도 로그 진화 모니터링 및 시각화를 도입한다.

ABSTRACT

Logs are semi-structured text files that represent software's execution paths and states during its run-time. Therefore, detecting anomalies in software logs reflect anomalies in the software's execution path or state. So, it has become a notable concern in software engineering. We use LSTM like many prior works, and on top of LSTM, we propose a novel anomaly detection approach based on the Siamese network. This paper also provides an authentic validation of the approach on the Hadoop Distributed File System (HDFS) log dataset. To the best of our knowledge, the proposed approach outperforms other methods on the same dataset at the F1 score of 0.996, resulting in a new state-of-the-art performance on the dataset. Along with the primary method, we introduce a novel training pair generation algorithm that reduces generated training pairs by the factor of 3000 while maintaining the F1 score, merely a modest decay from 0.996 to 0.995. Additionally, we propose a hybrid model by combining the Siamese network with a traditional feedforward neural network to make end-to-end training possible, reducing engineering effort in setting up a deep-learning-based log anomaly detector. Furthermore, we examine our method's robustness to log evolutions by evaluating the model on synthetically evolved log sequences; we got the F1 score of 0.95 at the noise ratio of 20%. Finally, we dive deep into some of the side benefits of the Siamese network. Accordingly, we introduce a method of monitoring the evolutions of logs without label requirements at run-time. Additionally, we present a visualization technique that facilitates human administrations of log anomaly detection.

연구 동기 및 목표

• 이상치가 드물고 비정상 로그가 지배적인 불균형한 로그 이상 탐지 데이터셋 문제를 해결하기 위해.
• 균형 잡힌 학습 데이터가 필요 없이도 정상 및 비정상 로그 시퀀스를 효과적으로 활용할 수 있는 딥 러닝 모델을 개발하기 위해.
• 최적화된 쌍 생성 알고리즘을 통해 시아모이즈 네트워크 학습의 계산 비용을 감소시키기 위해.
• 실제 시스템에서 흔한 문제인 로그 진화 상황에서도 강건한 이상 탐지 성능을 확보하기 위해.
• 인간-인간 분석을 위한 로그 임베딩의 해석 가능한 모니터링 및 시각화를 제공하기 위해.

제안 방법

• 두 개의 동일한 LSTM 기반 인코더를 사용하는 시아모이즈 네트워크 아키텍처를 적용하여, 로그 시퀀스 쌍을 처리하고 공유된 임베딩 공간을 학습한다.
• 동일 클래스의 시퀀스(정상-정상 또는 이상-이상) 간의 거리를 최소화하고, 다른 클래스 간의 거리를 최대화하기 위해 대조 손실을 통해 학습한다.
• 음성 샘플링에 영감을 받은 새로운 쌍 생성 알고리즘이 학습 쌍 수를 3000배 감소시키면서도 F1-스코어를 0.995로 유지한다.
• 시아모이즈 네트워크와 피드포워드 신경망을 융합한 하이브리드 모델을 통해 엔드 투 엔드 학습을 가능하게 하고 엔지니어링 오버헤드를 줄인다.
• 학습 데이터의 가우시안 혼합 모델 기반 로그-가능도를 측정하여, 비지도 피트니스 스코어를 도입해 로그 진화를 모니터링한다.
• 고차원 임베딩을 해석하기 위해 T-SNE, UMAP, PCA를 사용하여 정상 및 비정상 로그 시퀀스의 경계를 인간이 이해할 수 있도록 시각화한다.

실험 결과

연구 질문

• RQ1 HDFS 데이터셋에서 기존의 SOTA 방법보다 시아모이즈 네트워크 기반 접근 방식이 이상 탐지 성능에서 뛰어난가?
• RQ2 성능을 저하시키지 않고도 시아모이즈 네트워크의 학습 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 소프트웨어 업데이트로 인한 로그 시퀀스 진화에 대해 제안된 모델이 얼마나 강건한가?
• RQ4 라벨이 없는 조건에서도 학습된 임베딩 공간을 사용해 로그 진화를 탐지할 수 있는가?
• RQ5 임bedded 로그 시퀀스의 시각화가 인간의 이상 탐지 이해 및 감시를 향상시킬 수 있는가?

주요 결과

• 제안된 시아모이즈 네트워크는 HDFS 로그 데이터셋에서 F1-스코어 0.996을 달성하여 새로운 SOTA 성능을 확립한다.
• 새로운 쌍 생성 알고리즘이 학습 쌍 수를 3000배 감소시켰으며, F1-스코어는 0.996에서 0.995로 약간 하락하는 데 그친다.
• 모델은 로그 진화에 대해 강력한 강건성을 유지하며, 합성적으로 진화된 로그 시퀀스에서 20%의 노이즈 비율에서도 F1-스코어 0.95를 달성한다.
• 피트니스 스코어 메트릭은 라벨이 없이도 로그 진화를 성공적으로 탐지하여, 생산 환경에서의 사전 재학습 결정을 가능하게 한다.
• T-SNE, UMAP, PCA를 활용한 시각화 결과, 정상 및 비정상 로그 시퀀스가 임베딩 공간에서 명확히 분리되어 있으며, 모델의 분류 능력을 확인한다.
• 하이브리드 시아모이즈-피드포워드 모델은 엔드 투 엔드 학습을 가능하게 하며 실용적 구현을 향상시켰으며, 시아모이즈 구성 요소가 높은 성능을 달성하는 데 핵심적이다 (이 없이 F1 0.973 대비 0.996).