[논문 리뷰] LogQA: Question Answering in Unstructured Logs

Shaohan Huang, Yi Liu외 4명|arXiv (Cornell University)|2023. 03. 21.

Software System Performance and Reliability인용 수 5

한 줄 요약

LogQA는 비정형 시스템 로그에 대한 질문 응답 프레임워크로, 작업을 로그 검색과 답변 읽기로 분해하며, 하드 음성 샘플링을 통한 이중 구성 아키텍처를 사용해 검색의 강건성을 향상시킨다. 이는 세 개의 공개 로그 데이터셋에서 최신 기술 수준의 성능을 달성하며, 도전적인 데이터셋에서 상위 5개 정확도 기준으로 기준 모델보다 30점 이상 높은 성능을 기록한다.

ABSTRACT

Modern systems produce a large volume of logs to record run-time status and events. System operators use these raw logs to track a system in order to obtain some useful information to diagnose system anomalies. One of the most important problems in this area is to help operators find the answers to log-based questions efficiently and user-friendly. In this work, we propose LogQA, which aims at answering log-based questions in the form of natural language based on large-scale unstructured log corpora. Our system presents the answer to a question directly instead of returning a list of relevant snippets, thus offering better user-friendliness and efficiency. LogQA represents the first approach to solve question answering in lod domain. LogQA has two key components: Log Retriever and Log Reader. Log Retriever aims at retrieving relevant logs w.r.t. a given question, while Log Reader is responsible for inferring the final answer. Given the lack of a public dataset for log questing answering, we manually labelled a QA dataset of three open-source log corpus and will make them publicly available. We evaluated our proposed model on these datasets by comparing its performance with 6 other baseline methods. Our experimental results demonstrate that LogQA has outperformed other baseline methods.

연구 동기 및 목표

• 시스템 관리에서 수동 로그 분석의 비효율성과 낮은 사용자 우수성 문제를 해결하기 위해.
• 로그에 관한 자연어 질문에 직접 답변을 반환하는 질문-응답 시스템을 개발하여, 원시 스니펫을 반환하는 기존 방식보다 향상된 사용성을 확보하기 위해.
• 로그 기반 질문 응답을 위한 공개 데이터셋 부족 문제를 해결하기 위해 HDFS, OpenSSH, Spark에서 수작업으로 레이블링한 QA 데이터셋을 제작하기 위해.
• Log Retriever 학습을 위한 반복적 하드 음성 샘플링 전략을 통해 로그 검색 성능을 향상시키기 위해.
• 실제 로그 코퍼스에서 로그 검색 및 답변 읽기 작업 모두 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• LogQA는 자연어 질문에 기반해 관련 로그 항목을 검색하는 Log Retriever와, 검색된 로그에서 정확한 답변 구간을 예측하는 Log Reader로 구성된 두 가지 구성 요소로 이루어진다.
• Log Retriever는 질문과 로그 항목 간의 의미적 유사도를 계산하기 위해 BERT 기반 문장 인코딩을 사용하는 시아미즈 네트워크 아키텍처를 활용한다.
• 학습 중에 반복적으로 하드 음성 예제를 생성하여 모델이 관련 로그와 관련이 없는 로그를 구분하는 능력을 향상시킨다.
• Log Retriever 학습 중 음성 샘플링을 적용하여 어려운 음성 케이스를 시뮬레이션함으로써 모델의 강건성을 향상시킨다.
• Log Reader는 스파문 예측 메커니즘(예: BERT 스타일의 스파문 추출)을 사용하여 상위-k개의 검색된 로그 내에서 답변을 식별한다.
• 시스템은 종합 최적화를 통해 엔드 투 엔드로 학습되며, 최종 답변은 확률 예측 값이 가장 높은 스파문 기반으로 선택된다.

Figure 1: Compared to traditional approach, LogQA directly answers log-based questions in the form of natural language.

실험 결과

연구 질문

• RQ1 비정형 로그에 관한 자연어 질문에 직접 답변을 반환할 수 있는 질문-응답 시스템은 기존 로그 검색 방식보다 사용성 향상에 기여할 수 있는가?
• RQ2 낮은 데이터 환경에서 하드 음성 샘플링은 로그 검색 모델의 성능 향상에 얼마나 효과적인가?
• RQ3 통합된 검색-독해 프레임워크는 정확도와 효율성 측면에서 기존 로그 분석 방법을 능가할 수 있는가?
• RQ4 도메인 특화 용어(예: IP 주소, 블록 ID)는 표준 NLP 모델의 로그 QA 성능에 어느 정도 영향을 미치는가?
• RQ5 학습 반복 횟수와 하드 음성 샘플링은 최종 검색 및 독해 성능에 어떤 영향을 미치는가?

주요 결과

• LogQA의 Log Retriever는 가장 도전적인 데이터셋에서 두 번째로 우수한 방법보다 상위 5개 정확도 기준으로 30점 이상 높은 성능을 기록하여 뚜렷한 성능 향상을 입증했다.
• 학습 중 하드 음성 예제를 포함시킴으로써 Log Retriever의 강건성과 일반화 능력이 향상되었으며, 특히 관련 로그와 관련이 없는 로그 간의 미세한 차이를 구분하는 데서 두드러졌다.
• Log Reader는 세 가지 데이터셋 전반에서 네 가지 기준 모델(Logistic Regression, BiDAF, QANet, BERT)을 모두 능가하여 강력한 답변 스파문 예측 능력을 입증했다.
• 상위 1개의 검색된 로그가 잘못되었더라도 Log Reader는 상위 5개의 로그에서 정답을 정확히 식별할 수 있었으며, 이는 노이즈가 많은 검색 결과에 대한 강건성을 입증했다.
• 시스템은 검색 및 독해 구성 요소 모두 최신 기술 수준의 성능을 달성하여 이중 단계 프레임워크의 효과성을 입증했다.
• 저자들은 HDFS, OpenSSH, Spark에서 수작업으로 레이블링한 QA 데이터셋을 공개하여 향후 로그 기반 질문 응답 연구를 지원한다.

Figure 2: Workflow of LogQA system.