[논문 리뷰] An Assessment of ChatGPT on Log Data

Priyanka Mudgal, Rita H. Wouhaybi|arXiv (Cornell University)|2023. 09. 14.

Software System Performance and ReliabilityComputer Science인용 수 3

한 줄 요약

이 논문은 실제 로그 데이터셋을 대상으로 고안된 맞춤형 프롬프트를 사용하여 ChatGPT의 로그 파싱, 로그 분석 및 로그 요약 능력을 평가한다. 로그 파싱 및 보안 정보 추출 분야에선 뛰어난 성능을 보였지만, API 탐지, 이상 탐지, 토큰 수 제한으로 인한 확장성 문제 및 높은 지연 시간 등 심각한 한계를 드러내며 실시간 로그 처리 응용 분야에서의 핵심 과제를 제기한다.

ABSTRACT

Recent development of large language models (LLMs), such as ChatGPT has been widely applied to a wide range of software engineering tasks. Many papers have reported their analysis on the potential advantages and limitations of ChatGPT for writing code, summarization, text generation, etc. However, the analysis of the current state of ChatGPT for log processing has received little attention. Logs generated by large-scale software systems are complex and hard to understand. Despite their complexity, they provide crucial information for subject matter experts to understand the system status and diagnose problems of the systems. In this paper, we investigate the current capabilities of ChatGPT to perform several interesting tasks on log data, while also trying to identify its main shortcomings. Our findings show that the performance of the current version of ChatGPT for log processing is limited, with a lack of consistency in responses and scalability issues. We also outline our views on how we perceive the role of LLMs in the log processing discipline and possible next steps to improve the current capabilities of ChatGPT and the future LLMs in this area. We believe our work can contribute to future academic research to address the identified issues.

연구 동기 및 목표

• 실제 소프트웨어 공학 작업 분야에서 ChatGPT의 현재 능력을 로그 데이터 처리 측면에서 평가하기 위해.
• 복잡하고 비구조화된 로그 메시지를 대규모로 처리할 때 ChatGPT의 한계를 규명하기 위해.
• 피팅 튜닝 없이도 제로샷 및 피어샷 프롬프팅을 활용해 로그 전용 작업을 수행할 수 있는지 탐색하기 위해.
• 실시간 로그 분석 파이프라인에 ChatGPT와 같은 대규모 언어 모델을 구현할 때 발생하는 실용적 과제를 평가하기 위해.
• 구조화된 평가 및 프롬프트 설계를 통해 향후 로그 처리를 위한 대규모 언어 모델 개선에 기초를 마련하기 위해.

제안 방법

• 로그 파싱, API 탐지, 오류 요약, 보안 위협 탐지, 이상 탐지, 이벤트 예측, 로그 요약 등 특정 로그 처리 작업을 대상으로 한 일곱 가지의 서로 다른 프롬프트를 설계하였다.
• 실제 로그 데이터셋(예: Loghub)을 사용하여 비구조화된 원시 로그 메시지에 대해 제로샷 성능을 평가하기 위해 프롬프트를 적용하였다.
• 정확도, 완전성, 일관성, 응답 시간 등 여러 차원에서 응답을 평가하였다.
• 스케일러비리티를 측정하기 위해 API 호출당 처리 가능한 최대 로그 메시지 수를 테스트하였다(토큰 제약으로 인해 약 ~190~200개로 제한됨).
• 입력 크기에 따른 지연 시간을 분석하여, 더 큰 로그 배치를 처리할 경우 응답 시간이 몇 초에서 몇 분으로 증가하는 경향을 관찰하였다.
• 처리 과정에서 민감한 데이터(예: IP 주소, URL, 사용자 ID)가 노출되거나 유지되는지 평가하여 프라이버시 위험을 분석하였다.

실험 결과

연구 질문

• RQ1 피팅 튜닝 없이도 ChatGPT가 비구조화된 로그 메시지에서 로그 템플릿과 변수를 정확하게 추출할 수 있는가?
• RQ2 ChatGPT는 원시 로그에서 자주 호출되는 API, 보안 위협 및 시스템 이상을 얼마나 효과적으로 탐지할 수 있는가?
• RQ3 한 번의 프롬프트에서 대량의 로그 데이터를 처리할 때 ChatGPT의 확장성 한계는 무엇인가?
• RQ4 입력 로그 양이 증가함에 따라 응답 지연 시간은 어떻게 변하는가? 실시간 로그 분석을 지원할 수 있는가?
• RQ5 ChatGPT와 같은 제3자 대규모 언어 모델 API에 로그 데이터를 전송할 경우 발생하는 프라이버시 위험은 무엇인가?

주요 결과

• ChatGPT는 높은 정확도로 원시 로그 메시지에서 템플릿과 변수를 성공적으로 추출하여 로그 파싱에서 뛰어난 성능을 보였다.
• 모델는 IP 주소, URL, 사용자 ID와 같은 민감한 정보를 일관되게 탐지하고 추출하는 능력을 보여주어 강력한 프라이버시 및 보안 분석 능력을 지닌 것으로 나타났다.
• API 탐지 및 이벤트 예측 작업에서 성능이 크게 저하되었으며, 여러 중요한 API와 이벤트가 응답에서 누락된 경우가 있었다.
• 이상 탐지 능력은 일관성이 없었으며, 특히 복잡하거나 노이즈가 많은 로그 시퀀스에서는 알려진 이상을 탐지하지 못하는 경우가 다수 있었다.
• 입력 크기가 증가함에 따라 응답 지연 시간이 크게 증가하여, 더 큰 로그 배치를 처리할 경우 응답 시간이 몇 초에서 몇 분으로 증가했으며, 이는 실시간 적용 가능성을 제한했다.
• 모델의 토큰 제한으로 인해 프롬프트당 약 190~200개의 로그 메시지만 처리 가능하여 산업 규모의 로그 분석에 있어 주요 확장성 장벽이 되었다.