[논문 리뷰] Interpretable Online Log Analysis Using Large Language Models with Prompt Strategies

Yilun Liu, Shimin Tao외 8명|arXiv (Cornell University)|2023. 08. 15.

Software System Performance and ReliabilityComputer Science인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 활용하고 고도화된 프롬프트 전략—자기 프롬프트(self-prompt), 사고의 사슬(chain-of-thought), 그리고 맥락 기반 프롬프트(in-context prompting)—를 적용하여 도메인 내 미세튜닝 없이도 최신 기술 수준의 성능을 달성하는 해석 가능한 온라인 로그 분석 프레임워크인 LogPrompt를 제안한다. LogPrompt는 단순한 프롬프트 대비 LLM 성능을 최대 380.7% 향상시키며, 수천 개의 도메인 내 로그로 훈련된 기존 방법들보다 최대 55.9% 뛰어나며, 높은 읽기 쉬움과 유용성(5점 만점에 4.42점)을 갖춘 인간 평가 기반 설명을 생성한다.

ABSTRACT

Automated log analysis is crucial in modern software-intensive systems for facilitating program comprehension throughout software maintenance and engineering life cycles. Existing methods perform tasks such as log parsing and log anomaly detection by providing a single prediction value without interpretation. However, given the increasing volume of system events, the limited interpretability of analysis results hinders analysts' comprehension of program status and their ability to take appropriate actions. Moreover, these methods require substantial in-domain training data, and their performance declines sharply (by up to 62.5%) in online scenarios involving unseen logs from new domains, a common occurrence due to rapid software updates. In this paper, we propose LogPrompt, a novel interpretable log analysis approach for online scenarios. LogPrompt employs large language models (LLMs) to perform online log analysis tasks via a suite of advanced prompt strategies tailored for log tasks, which enhances LLMs' performance by up to 380.7% compared with simple prompts. Experiments on nine publicly available evaluation datasets across two tasks demonstrate that LogPrompt, despite requiring no in-domain training, outperforms existing approaches trained on thousands of logs by up to 55.9%. We also conduct a human evaluation of LogPrompt's interpretability, with six practitioners possessing over 10 years of experience, who highly rated the generated content in terms of usefulness and readability (averagely 4.42/5). LogPrompt also exhibits remarkable compatibility with open-source and smaller-scale LLMs, making it flexible for practical deployment. Code of LogPrompt is available at https://github.com/lunyiliu/LogPrompt.

연구 동기 및 목표

• 기존 방법이 이유 없이 예측만 제공하는 바탕으로 해석 가능성 부족 문제를 해결한다.
• 새로운 도메인의 희소하거나 미리보지 않은 로그가 존재하는 온라인 환경에서 로그 분석 모델의 성능 저하 문제를 해결한다.
• 도메인 내 미세튜닝이 필요 없는 매우 유연한 제로샷 로그 분석 방법을 개발하여 새로운 서비스에 즉각적인 구현을 가능하게 한다.
• 로그 분석 예측에 대해 인간이 읽을 수 있고 타당한 설명을 생성함으로써 프로그램 이해도 향상과 운영 의사결정 지원을 강화한다.
• 경험이 풍부한 전문가들과의 철저한 인간 평가를 통해 LLM 기반 로그 분석의 효과성과 해석 가능성 여부를 검증한다.

제안 방법

• 로그 분석 작업을 안내하기 위해 세 가지 전문화된 프롬프트 전략을 활용한다: 자기 프롬프트(자기 생성된 작업 기술), 사고의 사슬(단계별 추론), 맥락 기반 프롬프트(소수의 예시 제공).
• 이 프롬프트 전략들을 로그 파싱 및 로그 이상 탐지 작업에 모두 적용하여 LLM이 템플릿과 변수를 추출하거나 로그를 정상/이상으로 분류하도록 한다.
• 로그 내용과 작업 요구사항에 기반해 동적으로 맥락 인식형 프롬프트를 구성하는 프롬프트 엔지니어링 파이프라인을 설계한다.
• 도메인 내 미세튜닝 없이 제로샷 추론을 활용하여 새로운 도메인과 알려지지 않은 로그 유형에 대한 적응성을 확보한다.
• 논리적으로 타당하고 의미적으로 명확한 설명을 생성하도록 유도하기 위해 구조화된 프롬프트를 통합한다.
• 효율성과 성능 최적화를 통해 오픈소스 및 소규모 LLM과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 고도화된 프롬프트 전략은 도메인 내 미세튜닝 없이도 LLM의 로그 파싱 및 이상 탐지 성능을 크게 향상시킬 수 있는가?
• RQ2 LLM 기반 로그 분석 모델은 새로운 도메인의 미리보지 않은 로그가 존재하는 온라인 환경에 얼마나 잘 일반화되는가?
• RQ3 제작된 설명은 경험 많은 O&M 엔지니어의 프로그램 이해도 향상과 해석 가능성 향상에 얼마나 효과적인가?
• RQ4 사고의 사슬 및 맥락 기반 학습과 같은 프롬프트 엔지니어링 전략은 로그 분석에서 LLM 예측의 신뢰성과 추적 가능성을 향상시킬 수 있는가?
• RQ5 실제 운영 환경에서 LLM이 생성한 설명의 해석 가능성은 기존의 블랙박스 로그 분석 모델보다 뛰어나다고 할 수 있는가?

주요 결과

• LogPrompt는 로그 파싱 및 이상 탐지 작업 모두에서 최신 기술 수준의 성능을 달성하며, 수천 개의 도메인 내 로그로 훈련된 기존 방법들보다 최대 55.9% 뛰어나다.
• 단순 프롬프트 대비 고도화된 프롬프트 전략을 적용할 경우, LLM의 로그 분석 성능이 최대 380.7% 향상된다.
• 경험이 풍부한 6명의 전문가를 대상으로 한 인간 평가 결과, LogPrompt가 생성한 설명은 매우 유용하고 읽기 쉬운 것으로 평가되어 평균 5점 만점에 4.42점의 점수를 기록했다.
• LogPrompt는 온라인 환경에서 강력한 일반화 능력을 보이며, 도메인 내 훈련 데이터가 전혀 없을 경우에도 높은 정확도를 유지한다.
• 오픈소스 및 소규모 LLM과의 호환성 덕분에 다양한 인프라 환경에서 실용적인 구현이 가능하다.
• 본 연구는 생성된 근거 기반의 해석 가능성 덕분에 루트 케이스 분석 및 잘못된 경고 탐지 등 운영 의사결정 지원에 상당한 기여가 있음을 확인했다.