[论文解读] LogQA: Question Answering in Unstructured Logs

Shaohan Huang, Yi Liu+4 more|arXiv (Cornell University)|Mar 21, 2023

Software System Performance and Reliability被引用 5

一句话总结

LogQA 是一种针对非结构化系统日志的新型问答框架，将任务分解为日志检索与答案阅读两个阶段，采用双组件架构并结合硬负样本采样以提升检索鲁棒性。该框架在三个公开日志数据集上实现了最先进性能，在具有挑战性的数据集上，其 top-5 准确率比基线方法高出 30 余分。

ABSTRACT

Modern systems produce a large volume of logs to record run-time status and events. System operators use these raw logs to track a system in order to obtain some useful information to diagnose system anomalies. One of the most important problems in this area is to help operators find the answers to log-based questions efficiently and user-friendly. In this work, we propose LogQA, which aims at answering log-based questions in the form of natural language based on large-scale unstructured log corpora. Our system presents the answer to a question directly instead of returning a list of relevant snippets, thus offering better user-friendliness and efficiency. LogQA represents the first approach to solve question answering in lod domain. LogQA has two key components: Log Retriever and Log Reader. Log Retriever aims at retrieving relevant logs w.r.t. a given question, while Log Reader is responsible for inferring the final answer. Given the lack of a public dataset for log questing answering, we manually labelled a QA dataset of three open-source log corpus and will make them publicly available. We evaluated our proposed model on these datasets by comparing its performance with 6 other baseline methods. Our experimental results demonstrate that LogQA has outperformed other baseline methods.

研究动机与目标

• 为解决系统管理中手动日志分析效率低下且用户体验差的问题。
• 开发一种可直接回答关于日志的自然语言问题的问答系统，而非返回原始日志片段。
• 通过人工标注 HDFS、OpenSSH 和 Spark 上的 QA 数据集，弥补日志问答任务缺乏公开数据集的不足。
• 通过迭代式硬负样本采样策略，提升日志检索模型的性能。
• 在真实世界日志语料上，实现日志检索与答案阅读任务的最先进结果。

提出的方法

• LogQA 包含两个组件：Log Retriever 用于根据自然语言问题检索相关日志条目，Log Reader 用于从检索到的日志中预测精确的答案片段。
• Log Retriever 使用基于 BERT 的句子编码与孪生网络架构，计算问题与日志条目之间的语义相似度。
• 在训练过程中迭代生成硬负样本，以提升模型区分相关与无关日志的能力。
• 在 Log Retriever 训练过程中采用负样本采样，以模拟困难的负例情况，增强模型鲁棒性。
• Log Reader 使用跨度预测机制（如 BERT 风格的跨度抽取）从 top-k 检索到的日志中识别答案。
• 系统采用端到端联合优化进行训练，最终答案基于概率最高的跨度预测结果选定。

Figure 1: Compared to traditional approach, LogQA directly answers log-based questions in the form of natural language.

实验结果

研究问题

• RQ1 问答系统能否直接返回关于非结构化日志的自然语言问题的答案，从而在可用性上超越传统日志搜索？
• RQ2 在低数据场景下，硬负样本采样在提升日志检索模型性能方面的有效性如何？
• RQ3 统一的检索-阅读框架是否能在准确率与效率上超越现有日志分析方法？
• RQ4 领域特定术语（如 IP 地址、块 ID）对标准 NLP 模型在日志问答任务中的性能影响有多大？
• RQ5 训练迭代次数与硬负样本采样对最终检索与阅读性能的影响如何？

主要发现

• 在最具挑战性的数据集中，LogQA 的 Log Retriever 在 top-5 准确率上比第二好的方法高出 30 余分，展现出显著的性能提升。
• 训练过程中引入硬负样本显著提升了 Log Retriever 的鲁棒性与泛化能力，尤其在区分相关与无关日志的细微差异方面表现突出。
• 在所有三个数据集上，Log Reader 均优于四种基线方法（Logistic Regression、BiDAF、QANet、BERT），展现出强大的答案跨度预测能力。
• 即使 top-1 检索到的日志不正确，Log Reader 仍能从 top-5 日志中正确识别答案，证明其对噪声检索结果具有强鲁棒性。
• 该系统在检索与阅读两个组件上均实现了最先进性能，验证了两阶段框架的有效性。
• 作者发布了来自 HDFS、OpenSSH 和 Spark 的人工标注 QA 数据集，该数据集已公开，可支持未来日志问答研究。

Figure 2: Workflow of LogQA system.