[논문 리뷰] Log-based Anomaly Detection based on EVT Theory with feedback

Jinyang Liu, Junjie Huang외 7명|arXiv (Cornell University)|2023. 06. 08.

Software System Performance and Reliability인용 수 4

한 줄 요약

ScaleAD는 클라우드 시스템에서 실시간으로 저자원으로 이상 탐지를 수행할 수 있도록 설계된 경량적이고 적응형 로그 기반 이상 탐지 프레임워크이다. 이는 트라이 기반 탐지 에이전트(TDA)를 사용하며, 인간 전문가나 대규모 언어 모델(LLM)의 피드백을 통합함으로써 로그가 변화함에 따라 높은 정확도를 유지한다. 기존 기준 대비 2배에서 10배 빠른 추론 속도와 5%에서 41%까지 낮은 메모리 사용량을 기록한다.

ABSTRACT

System logs play a critical role in maintaining the reliability of software systems. Fruitful studies have explored automatic log-based anomaly detection and achieved notable accuracy on benchmark datasets. However, when applied to large-scale cloud systems, these solutions face limitations due to high resource consumption and lack of adaptability to evolving logs. In this paper, we present an accurate, lightweight, and adaptive log-based anomaly detection framework, referred to as SeaLog. Our method introduces a Trie-based Detection Agent (TDA) that employs a lightweight, dynamically-growing trie structure for real-time anomaly detection. To enhance TDA's accuracy in response to evolving log data, we enable it to receive feedback from experts. Interestingly, our findings suggest that contemporary large language models, such as ChatGPT, can provide feedback with a level of consistency comparable to human experts, which can potentially reduce manual verification efforts. We extensively evaluate SeaLog on two public datasets and an industrial dataset. The results show that SeaLog outperforms all baseline methods in terms of effectiveness, runs 2X to 10X faster and only consumes 5% to 41% of the memory resource.

연구 동기 및 목표

• 대규모 클라우드 시스템에서 기존 로그 기반 이상 탐지 방법의 한계를 해결하기 위해, 특히 높은 자원 소비와 변화하는 로그에 대한 낮은 적응성 문제를 해결한다.
• 자원 제약 조건(예: 각 인스턴스당 1개의 CPU 코어, 200MB 메모리)에서도 높은 탐지 정확도를 유지할 수 있는 시스템을 설계한다.
• 자주 발생하는 소프트웨어 업데이트로 인해 변화하는 로그 패턴에 지속적으로 적응할 수 있도록, 다시 학습하지 않고도 업데이트할 수 있는 기능을 제공한다.
• 수동 레이블링의 노력을 줄이기 위해 대규모 언어 모델(Langauge Models, LLM)을 전문가 피드백 소스로 활용할 수 있는지 탐색한다.
• 수천 대의 클라우드 인스턴스에 걸쳐 확장 가능한 효율적인 솔루션을 개발한다.

제안 방법

• 실시간으로 이상 로그 패턴을 효율적으로 인덱싱하고 탐지하기 위해 경량적이고 동적으로 성장하는 트라이 구조를 사용하는 트라이 기반 탐지 에이전트(TDA)를 제안한다.
• 로깅 빈도의 꼬리 분포를 모델링하기 위해 극값 이론(Extreme Value Theory, EVT)을 적용하여 희귀하거나 이상적인 로그 이벤트를 견고하게 탐지할 수 있도록 한다.
• 전문가가 레이블링한 이상 탐지 결과를 피드백 루프에 통합하여 TDA의 탐지 논리를 지속적으로 개선함으로써 정확도를 향상시킨다.
• 로그의 의미적 유사도를 평가하고 이상 탐지 예측을 검증하기 위해 대규모 언어 모델(LLM)을 자동 전문가 피드백 소스로 활용한다.
• 스트리밍 로그 처리를 고려해 설계하여, 중앙 집중식 계산에 의존하지 않고도 클라우드 인스턴스 내부에서 저지연, 실시간 탐지를 수행할 수 있도록 한다.
• 증분적인 트라이 업데이트와 EVT 기반 임계값 설정을 통해 TDA의 메모리 및 계산 자원 사용을 최적화함으로써 최소한의 자원 오버헤드를 확보한다.

실험 결과

연구 질문

• RQ1 제한된 CPU 및 메모리 자원을 가진 실세계 클라우드 환경에서 경량적이고 인스턴스 내부에 구현된 이상 탐지 시스템이 높은 정확도를 달성할 수 있는가?
• RQ2 특히 LLM에서 유래한 전문가 피드백이 인간 전문가와 비교해 장기적으로 이상 탐지 정확도 향상에 얼마나 효과적인가?
• RQ3 로깅 빈도 꼬리의 EVT 기반 모델링이 변화하는 로그 스트림에서 희귀하거나 새로운 이상을 탐지하는 데 얼마나 기여하는가?
• RQ4 기존의 머신러닝 및 딥러닝 기반 로그 이상 탐지 방법과 비교해, 제안된 TDA 기반 접근 방식은 속도 및 메모리 효율성 측면에서 얼마나 확장 가능한가?
• RQ5 소프트웨어 릴리스 주기 등 로그 패턴이 크게 변화하는 상황에서도 시스템이 높은 성능을 유지하는가?

주요 결과

• ScaleAD는 두 개의 공개 데이터셋과 화웨이 클라우드의 산업용 데이터셋에서 F1 스코어가 0.908에서 0.990 사이를 기록하여 높은 탐지 정확도를 입증했다.
• 기존 기준 대비 2배에서 10배 빠른 속도로 실행되어 실시간 로그 처리에서 추론 속도 향상에 기여한다.
• 기존 방법 대비 메모리 사용량이 5%에서 41%까지 낮아 자원 제약 조건이 있는 클라우드 인스턴스에 적합하다.
• ChatGPT와 같은 LLM에서 온 피드백은 인간 전문가 수준의 이상 탐지 일관성을 달성하여 수동 검증의 필요성을 줄였다.
• 로그 패턴이 변화함에 따라 평균적으로 매달 14.5%의 로그가 새로운 것으로 간주되며, 로그 쌍의 85%가 낮은 의미적 유사도를 보임에도 불구하고 시스템은 높은 정확도를 유지한다.
• TDA와 피드백 기반 적응의 조합은 변화하는 로그에서 지속적인 성능 향상을 가능하게 하여 정적 모델과 순수 비지도 학습 기반 딥러닝 접근 방식을 모두 능가한다.