[논문 리뷰] A Comprehensive Survey of Logging in Software: From Logging Statements Automation to Log Mining and Analysis

Sina Gholamian, Paul A. S. Ward|arXiv (Cornell University)|2021. 10. 24.

Software System Performance and Reliability인용 수 12

한 줄 요약

이 종합적 서베이는 소프트웨어 시스템에서 자동 로그 문장 생성부터 고급 로그 마이닝 및 분석 기법에 이르기까지 로깅 관행을 체계적으로 검토한다. 최상위 학술 컨ferences 및 저널에서 발표된 100건 이상의 연구를 종합하여, 로깅 자동화, 이상 탐지, 장애 진단 및 AIOps 분야의 주요 추세를 파악하고 도전 과제 및 기회를 제시하며 소프트웨어 로깅과 로그 분석 분야의 향후 연구를 위한 기초 로드맵을 제공한다.

ABSTRACT

Logs are widely used to record runtime information of software systems, such as the timestamp and the importance of an event, the unique ID of the source of the log, and a part of the state of a task's execution. The rich information of logs enables system developers (and operators) to monitor the runtime behaviors of their systems and further track down system problems and perform analysis on log data in production settings. However, the prior research on utilizing logs is scattered and that limits the ability of new researchers in this field to quickly get to the speed and hampers currently active researchers to advance this field further. Therefore, this paper surveys and provides a systematic literature review and mapping of the contemporary logging practices and log statements' mining and monitoring techniques and their applications such as in system failure detection and diagnosis. We study a large number of conference and journal papers that appeared on top-level peer-reviewed venues. Additionally, we draw high-level trends of ongoing research and categorize publications into subdivisions. In the end, and based on our holistic observations during this survey, we provide a set of challenges and opportunities that will lead the researchers in academia and industry in moving the field forward.

연구 동기 및 목표

• 소프트웨어 로깅에 관한 이전 연구의 산만한 상태를 해결하기 위해 로깅 관행과 로그 분석 기법에 대한 통합적이고 체계적인 검토를 제공하기 위해.
• 로깅 자동화, 로그 파싱, 이상 탐지, 장애 진단 등의 일관된 하위 영역으로 존재하는 연구를 식별하고 분류하기 위해.
• 시간에 따라 로깅 연구의 발전을 분석하여 로그 관리 및 분석 분야의 핵심 추세와 반복적인 과제를 부각시키기 위해.
• 로그 마이닝 및 분석 분야의 현재 최첨단 기술에 대한 통합적 이해를 제공하며, AIOps, DevOps 및 시스템 모니터링 응용 분야를 포함하기 위해.
• 소프트웨어 로깅 및 로그 기반 시스템 진단 분야에서 연구 및 실무를 발전시키기 위한 열린 과제와 새로운 기회를 규명하기 위해.

제안 방법

• 2005년부터 2021년까지 최상위 학술 컨퍼런스 및 저널에서 발표된 112편의 동료 심사 논문을 대상으로 체계적 문헌 검토(SLR) 및 체계적 맵핑(SM)을 수행함.
• 연구 초점을 바탕으로 주제별 카테고리(로깅 자동화, 로그 파싱, 로그 분석, 이상 탐지, 장애 진단, 그리고 새로운 응용)로 연구를 분류함.
• 초기 关련 키워드 검색으로는 포착되지 않은 관련 연구를 식별하고 포함하기 위해 스노우볼링 기법을 활용함.
• 각 하위 분야에서의 출판 추세, 인용 패턴 및 방법론적 접근 방식을 분석하여 연구 격차와 새로운 방향성을 규명함.
• 기계 학습 및 통계 모델을 포함한 다양한 로그 마이닝 및 분석 기법의 효과성과 한계를 평가함.
• 로그 이질성, 확장성, 로깅 비용 등의 주요 과제를 종합하여 체계적인 개요를 제시하고 향후 연구 방향을 제안함.

실험 결과

연구 질문

• RQ1 2005년부터 2021년까지 소프트웨어 로깅 연구에서 지배적인 연구 주제와 추세는 무엇인가?
• RQ2 로깅 문장 자동화 및 로그 마이닝 기법은 시간이 지남에 따라 어떻게 발전했으며, 그 주요 한계는 무엇인가?
• RQ3 분산 및 클라우드 시스템에서 로그 기반 이상 탐지 및 장애 진단에 가장 효과적인 접근 방법은 무엇인가?
• RQ4 기존의 로그 분석 기법은 AIOps, DevOps 및 시스템 모니터링 파이프라인과 어떻게 통합되는가?
• RQ5 성능 오버헤드, 파싱 정확도, 도구 간 상호운용성 등을 포함한 로그 관리의 주요 과제는 무엇인가?

주요 결과

• 소프트웨어 로깅 분야는 기본적인 로그 생성에서 고급 로그 마이닝 및 AIOps로 진화했으며, 이상 탐지 및 장애 진단에 기계 학습 기법의 사용이 증가하고 있다.
• 진전에도 불구하고 로깅 자동화는 여전히 주로 수동적이고 일시적인 방식이며, 로깅 최적 실천 방법에 대한 표준 가이드라인이 없음.
• 시스템 및 플랫폼 간 로그 메시지의 자유형 및 이질적인 성격으로 인해 로그 파싱 및 정규화가 여전히 주요 과제로 남아 있음.
• 기계 학습 기반 로그 분석 기법, 특히 비지도 및 준지도 모델은 레이블이 없는 환경에서도 이상 탐지에 강력한 잠재력을 보임.
• 이벤트 상관관계 마이닝 및 플로우 재구성과 같은 로그 기반 장애 진단 기법은 분산 시스템에서 근본 원인 규명을 크게 향상시킴.
• 코드 커버리지 추정, 에너지 영향 분석, 사용자 행동 모델링 분야에서 로그의 새로운 응용 사례는 디버깅을 넘어서 로그의 역할 확장을 보여줌.