[논문 리뷰] Summarizing Unstructured Logs in Online Services

Weibin Meng, Federico Zaiter외 11명|arXiv (Cornell University)|2020. 12. 16.

Software System Performance and Reliability참고 문헌 42인용 수 9

한 줄 요약

이 논문은 비구조화된 로그에서 의미적 삼중항을 추출하고 순위를 매기는 데 통합된 의미적 지식과 도메인 지식을 활용하는 비지도(end-to-end) 프레임워크인 LogSummary를 제안한다. 이는 벤치마크 데이터셋에서 ROUGE F1 점수 0.741을 기록하며, 향후 연구를 위한 공개된 골드표준 데이터셋을 포함한다.

ABSTRACT

Logs are one of the most valuable data sources for managing large-scale online services. After a failure is detected/diagnosed/predicted, operators still have to inspect the raw logs to gain a summarized view before take actions. However, manual or rule-based log summarization has become inefficient and ineffective. In this work, we propose LogSummary, an automatic, unsupervised end-to-end log summarization framework for online services. LogSummary obtains the summarized triples of important logs for a given log sequence. It integrates a novel information extraction method taking both semantic information and domain knowledge into consideration, with a new triple ranking approach using the global knowledge learned from all logs. Given the lack of a publicly-available gold standard for log summarization, we have manually labelled the summaries of four open-source log datasets and made them publicly available. The evaluation on these datasets as well as the case studies on real-world logs demonstrate that LogSummary produces a highly representative (average ROUGE F1 score of 0.741) summaries. We have packaged LogSummary into an open-source toolkit and hope that it can benefit for future NLP-powered summarization works.

연구 동기 및 목표

• 대규모 온라인 서비스에서 수동 또는 규칙 기반 로그 요약의 비효율성과 부정확성을 해결하기 위해.
• 비구조화된 로그 시퀀스에서 이해하기 쉬운, 인간이 읽을 수 있는 요약을 자동으로 생성하는 비지도 방법을 개발하기 위해.
• 도메인 특화 문법, 높은 데이터 볼륨, 훈련 데이터 부족으로 인해 삼중항 추출에 도전하는 문제를 극복하기 위해.
• 향후 NLP 연구를 지원하기 위해 공개된 골드표준 로그 요약 데이터셋을 구축하기 위해.
• 운영자가 고장 관련 로그를 신속히 이해할 수 있도록 핵심 엔티티, 이벤트 및 그 관계를 요약하기 위해.

제안 방법

• LogSummary는 로그에서 구조화된 삼중항(주어, 관계, 목적어)을 추출하기 위해 의미 분석과 도메인 특화 지식을 융합한 새로운 정보 추출 방법(LogIE)을 사용한다.
• 모든 이력 로그를 기반으로 훈련된 글로벌 지식 모델을 적용하여 삼중항의 중요도를 순위 매기며, 고장 맥락과 가장 관련성이 높은 항목을 우선순위로 정렬한다.
• 삼중항 순위 매기기 메커니즘은 로그 시퀀스에서 유도된 가중치가 부여된 삼중항 그래프 위에서 TextRank 방식의 그래프 기반 순위 매기기를 사용한다.
• LogIE는 규칙 기반 패턴 매칭과 신경망 기반 의미 모델링을 융합한 하이브리드 접근 방식을 활용하여 비표준 문법과 도메인 특화 기호를 포함한 로그에서 정확도를 향상시킨다.
• 이 프레임워크는 엔드 투 엔드 방식으로, 사전 파싱이나 외부 애너테이션 없이도 원시 로그 시퀀스를 직접 처리한다.
• 저자들은 LogSummary를 오픈소스 툴킷과 함께 공개하며, 네 개의 오픈소스 로그 컬렉션에서 수작업으로 애너테이션 처리한 골드표준 데이터셋도 제공한다.

실험 결과

연구 질문

• RQ1 비지도 엔드 투 엔드 프레임워크가 높은 정밀도로 온라인 서비스의 비구조화된 로그를 효과적으로 요약할 수 있는가?
• RQ2 의미적 지식과 도메인 지식을 통합한 정보 추출 방법이 비표준 문법과 도메인 특화 용어를 포함한 로그에서 얼마나 잘 작동하는가?
• RQ3 모든 로그에서 유래한 글로벌 지식이 로그 시퀀스 내 중요한 삼중항의 순위 매기기에 얼마나 기여하는가?
• RQ4 제안된 방법이 정확도와 효율성 측면에서 규칙 기반 및 기존 NLP 기반 요약 기법을 초월할 수 있는가?
• RQ5 이 프레임워크는 다양한 실제 및 오픈소스 로그 데이터셋에 일반화 가능한가?

주요 결과

• LogSummary는 네 개의 공개 로그 데이터셋에서 평균 ROUGE F1 점수 0.741을 기록하여 높은 요약 품질을 입증했다.
• 실제 스위치 로그 데이터셋에서 LogIE는 처리량 기준으로 기준선 OpenIE 방법보다 100% 이상 빠르고 정확도 기준으로는 2배 높은 성능을 보였다(F1 점수 0.831).
• 이 프레임워크는 ('인터페이스', '다음으로 변경됨', '다운')와 같은 이해하기 쉬운 삼중항을 성공적으로 추출하여 의미적으로 의미 있고 운영적으로 활용 가능한 정보를 제공한다.
• 사례 연구 결과, 운영자가 생성된 요약이 고장 상태를 잘 반영하고 유용하다고 평가함으로써 검증되었다.
• 모든 로그에서 유래한 글로벌 지식의 통합은 핵심 삼중항의 순위 매기기에 크게 기여하여 고장 관련 이벤트의 우선순위를 효과적으로 설정할 수 있도록 했다.
• LogSummary와 수작업 애너테이션 처리된 골드표준 데이터셋의 오픈소스화는 향후 로그 요약 및 AIOps 분야의 연구 기반을 마련한다.