[논문 리뷰] LogGPT: Exploring ChatGPT for Log-Based Anomaly Detection

Jiaxing Qi, Shaohan Huang외 4명|arXiv (Cornell University)|2023. 09. 03.

Software System Performance and ReliabilityComputer Science인용 수 3

한 줄 요약

LogGPT는 로그 전처리, 작업 지향 프롬프트 엔지니어링, 응답 파싱을 조합하여 ChatGPT를 활용해 로그 기반 이상 탐지 프레임워크를 제안한다. BGL 및 Spirit 데이터셋에서 우수한 제로샷 및 패기샷 성능를 기록하며 높은 해석 가능성도 제공하지만, 거짓 양성 결과와 프롬프트 민감성 문제에 직면해 있다.

ABSTRACT

The increasing volume of log data produced by software-intensive systems makes it impractical to analyze them manually. Many deep learning-based methods have been proposed for log-based anomaly detection. These methods face several challenges such as high-dimensional and noisy log data, class imbalance, generalization, and model interpretability. Recently, ChatGPT has shown promising results in various domains. However, there is still a lack of study on the application of ChatGPT for log-based anomaly detection. In this work, we proposed LogGPT, a log-based anomaly detection framework based on ChatGPT. By leveraging the ChatGPT's language interpretation capabilities, LogGPT aims to explore the transferability of knowledge from large-scale corpora to log-based anomaly detection. We conduct experiments to evaluate the performance of LogGPT and compare it with three deep learning-based methods on BGL and Spirit datasets. LogGPT shows promising results and has good interpretability. This study provides preliminary insights into prompt-based models, such as ChatGPT, for the log-based anomaly detection task.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models)인 ChatGPT를 로그 기반 이상 탐지에 활용하는 것의 가능성과 효과성을 탐색하기 위해.
• 고차원 데이터, 클래스 불균형, 모델의 해석 가능성과 같은 로그 이상 탐지 과제를 해결하기 위해.
• 일반 도메인 LLM에서 시스템 로그 분석으로 지식을 전이하는 프롬프트 기반 프레임워크를 설계하기 위해.
• 기존 딥러닝 기반 기준 모델들과의 비교에서 LogGPT의 성능 및 해석 가능성 평가를 위해.

제안 방법

• 로그 전처리는 원시 로그 메시지를 필터링, 파싱, 그룹화하여 모델 입력용 구조화된 시퀀스로 변환하는 과정을 포함한다.
• 프롬프트 구성은 맞춤형 지침과 인간 지식 통합(예: 정상 로그 예시)을 사용해 ChatGPT의 이상 탐지 행동을 이끌어낸다.
• 응답 파서는 ChatGPT의 출력을 추출하고 해석하여 로그를 정상 또는 이상으로 분류한다.
• 이 프레임워크는 제로샷 또는 패기샷 설정에서 작동하며, 미세조정 없이 문맥 내 학습에 의존한다.
• 윈도우 사이즈는 모델에 입력되는 로그 시퀀스의 맥락 길이를 제어하기 위해 사용된다.
• 성능 평가는 BGL 및 Spirit 데이터셋에서 표준 지표인 F1 점수와 AUC를 사용하여 평가된다.

Figure 2: The framework of LogGPT to perform log-based anomaly detection.

실험 결과

연구 질문

• RQ1 ChatGPT의 로그 기반 이상 탐지 능력은 제로샷 및 패기샷 설정에서 현재 어떻게 되어 있는가?
• RQ2 프롬프트 설계, 특히 작업 설명과 정상 로그 예시의 통합이 탐지 성능에 어떤 영향을 미치는가?
• RQ3 윈도우 사이즈는 LogGPT 프레임워크의 성능에 어떤 영향을 미치는가?
• RQ4 LogGPT가 탐지한 이상은 얼마나 해석 가능하며, 실질적인 통찰을 제공할 수 있는가?

주요 결과

• 프롬프트 구성이 성능에 큰 영향을 미치며, 더 구체적인 작업 설명과 정상 로그 예시의 포함이 탐지 정확도 향상에 기여한다.
• 일반적으로 더 큰 윈도우 사이즈가 더 좋은 성능을 보이며, 이는 더 긴 맥락이 이상 탐지 능력을 향상시킨다는 것을 시사한다.
• LogGPT는 BGL 및 Spirit 데이터셋에서 DeepLog, LogAnomaly, LogRobust와 같은 딥러닝 기반 기준 모델들과 비교해도 경쟁 가능한 성능을 기록한다.
• LogGPT는 탐지된 이상에 대해 루트 코스 분석 및 예방 조치 제안을 포함한 상세한 설명을 제공함으로써 강력한 해석 가능성을 보여준다.
• 강력한 성능에도 불구하고 LogGPT는 높은 거짓 양성률을 보이며, 종종 정상 로그 시퀀스를 이상으로 잘못 분류한다.
• 모델은 프롬프트 변형에 민감하며, ChatGPT의 환상 문제로 인해 신뢰할 수 없거나 잘못된 출력이 발생할 수 있다.

Figure 3: An example of log parsing .