[論文レビュー] LogQA: Question Answering in Unstructured Logs

Shaohan Huang, Yi Liu+4 more|arXiv (Cornell University)|Mar 21, 2023

Software System Performance and Reliability被引用数 5

ひとこと要約

LogQA は、非構造化システムログに対する質問応答フレームワークであり、タスクをログ検索と答えの読み取りに分解する。二重構成アーキテクチャを採用し、ハードネガティブサンプリングを用いて検索のロバスト性を向上させる。3つの公開ログデータセットにおいて最先端の性能を達成し、特に困難なデータセットではトップ5正答率でベースラインを30ポイント以上上回る。

ABSTRACT

Modern systems produce a large volume of logs to record run-time status and events. System operators use these raw logs to track a system in order to obtain some useful information to diagnose system anomalies. One of the most important problems in this area is to help operators find the answers to log-based questions efficiently and user-friendly. In this work, we propose LogQA, which aims at answering log-based questions in the form of natural language based on large-scale unstructured log corpora. Our system presents the answer to a question directly instead of returning a list of relevant snippets, thus offering better user-friendliness and efficiency. LogQA represents the first approach to solve question answering in lod domain. LogQA has two key components: Log Retriever and Log Reader. Log Retriever aims at retrieving relevant logs w.r.t. a given question, while Log Reader is responsible for inferring the final answer. Given the lack of a public dataset for log questing answering, we manually labelled a QA dataset of three open-source log corpus and will make them publicly available. We evaluated our proposed model on these datasets by comparing its performance with 6 other baseline methods. Our experimental results demonstrate that LogQA has outperformed other baseline methods.

研究の動機と目的

• システム管理における手動ログ分析の非効率さと使いにくさを解消すること。
• ログに関する自然言語の質問に直接答えを返す質問応答システムを構築すること。これは、生のスニペットを返すのではなく、直接的な回答を提供することを目的とする。
• ログベースの質問応答のための公開データセットの不足を補うために、HDFS、OpenSSH、Spark のログに対して手動でラベル付けされたQAデータセットを構築すること。
• 繰り返しハードネガティブサンプリング戦略を用いて、Log Retriever のトレーニングにおいてログ検索の性能を向上させること。
• 実世界のログコーパスにおいて、ログ検索と答えの読み取りの両タスクで最先端の結果を達成すること。

提案手法

• LogQA は2つのコンponentから構成される：自然言語の質問に基づいて関連するログエントリを検索する Log Retriever と、検索されたログから正確な答えのスパンを予測する Log Reader である。
• Log Retriever は、質問とログエントリ間の意味的類似度を計算するために、BERTベースの文表現を用いたシアンプスネットワークアーキテクチャを採用している。
• トレーニング中に繰り返しハードネガティブ例を生成することで、関連するログと関係のないログを区別する能力を向上させる。
• Log Retriever のトレーニング中にネガティブサンプリングを実施し、困難なネガティブケースをシミュレートすることで、モデルのロバスト性を向上させる。
• Log Reader はスパン予測メカニズム（例：BERTスタイルのスパン抽出）を用いて、上位k個の検索ログ内から答えを特定する。
• システムはエンドツーエンドで共同最適化によりトレーニングされ、最終的な答えは確率が最も高いスパン予測に基づいて選択される。

Figure 1: Compared to traditional approach, LogQA directly answers log-based questions in the form of natural language.

実験結果

リサーチクエスチョン

• RQ1 自然言語の質問について非構造化ログに対して直接答えを返す質問応答システムは、従来のログ検索に比べて使いやすさを向上させることができるか？
• RQ2 データ量が少ない状況下で、ハードネガティブサンプリングはログ検索モデルの性能向上にどの程度有効であるか？
• RQ3 統合されたリtrieval-readingフレームワークは、従来のログ分析手法に比べ、精度と効率の両面で優れていると期待できるか？
• RQ4 ドメイン固有の用語（例：IPアドレス、ブロックID）は、標準NLPモデルのログQAにおける性能にどの程度影響を与えるか？
• RQ5 トレーニングの反復回数とハードネガティブサンプリングの有無が、最終的なリtrievalおよびリーディング性能に与える影響は何か？

主な発見

• LogQA の Log Retriever は、最も困難なデータセットにおいて、2番目に優れた手法よりもトップ5正答率が30ポイント以上高い結果を達成し、顕著な性能向上を示した。
• トレーニング時にハードネガティブ例を組み込むことで、Log Retriever のロバスト性と一般化能力が向上し、特に関連するログと関係のないログの微細な差を識別する能力が向上した。
• Log Reader は、3つのデータセットすべてで4つのベースライン手法（ロジスティック回帰、BiDAF、QANet、BERT）を上回り、強力なスパン予測能力を示した。
• トップ1の検索ログが誤りであった場合でも、Log Reader は上位5つのログから正しく答えを特定できた。これは、ノイズの多い検索結果に対しても耐性があることを証明している。
• システムはリtrievalおよびリーディングの両コンponentで最先端の性能を達成し、二段階フレームワークの有効性が裏付けられた。
• 研究者らは、HDFS、OpenSSH、Spark からの手動ラベル付け済みQAデータセットを公開し、将来的なログベースの質問応答研究を支援している。

Figure 2: Workflow of LogQA system.