[論文レビュー] Automatic Root Cause Analysis via Large Language Models for Cloud Incidents

Yinfang Chen, Huaibing Xie+16 more|arXiv (Cornell University)|May 25, 2023

Software System Performance and Reliability被引用数 6

ひとこと要約

本論文では、ログ、メトリクス、トレースなどの複数ソースの診断データを統合し、大規模言語モデル（LLM）を用いて根本原因のカテゴリを予測・説明することで、クラウドインシデントの根本的要因分析（RCA）を自動化するLLM駆動のシステムRCACopilotを提案する。実世界のMicrosoftのデータセットを用いた評価において、RCACopilotは最大0.766のRCA精度を達成し、オンコールエンジニアの作業負荷を顕著に低減した。

ABSTRACT

Ensuring the reliability and availability of cloud services necessitates efficient root cause analysis (RCA) for cloud incidents. Traditional RCA methods, which rely on manual investigations of data sources such as logs and traces, are often laborious, error-prone, and challenging for on-call engineers. In this paper, we introduce RCACopilot, an innovative on-call system empowered by the large language model for automating RCA of cloud incidents. RCACopilot matches incoming incidents to corresponding incident handlers based on their alert types, aggregates the critical runtime diagnostic information, predicts the incident's root cause category, and provides an explanatory narrative. We evaluate RCACopilot using a real-world dataset consisting of a year's worth of incidents from Microsoft. Our evaluation demonstrates that RCACopilot achieves RCA accuracy up to 0.766. Furthermore, the diagnostic information collection component of RCACopilot has been successfully in use at Microsoft for over four years.

研究の動機と目的

• 複雑なクラウドシステムにおける手動による根本的要因分析（RCA）の時間食い、誤りの多い性質に対処すること。
• ログ、メトリクス、トレースからの診断データの収集と解釈を自動化することで、オンコールエンジニアの認知的負荷を軽減すること。
• 大規模言語モデル（LLM）を活用して根本原因の予測と説明を行うことで、RCAの正確性と迅速性を向上させること。
• 事前に定義されたインシデントハンドラとLLM駆動の診断を用いて、スケーラブルで一般化可能なインシデント対処を可能にすること。
• 診断データ収集とLLMベースのRCAを統合した、実世界のクラウド環境向けに生産環境で利用可能な単一のシステムを構築すること。

提案手法

• RCACopilotは、インシデントハンドラ（エンジニアが定義した論理モジュール）を用い、受信したアラートを適切なオンコールチームにマッチングし、診断データ収集を開始する。
• アラートの種別とシステムの文脈に基づき、ログ、メトリクス、トレースからの重要なランタイム診断情報を統合する。
• 収集した診断データを処理するために大規模言語モデル（LLM）を採用し、チェーン・オブ・チョイスの推論を用いて根本原因のカテゴリを予測する。
• 予測された根本原因に対して説明的ナラティブを生成することで、透明性を向上させ、エンジニアの理解を支援する。
• 診断データ収集コンponentは、Microsoftで4年以上にわたり生産環境で運用されており、堅牢性とスケーラビリティを実証している。
• 本システムは、Microsoftのクラウドサービスで1年間分のインシデントデータを含む実世界のデータセットを用いて評価されている。

Figure 2 . Recurring incidents proportion vs. time interval.

実験結果

リサーチクエスチョン

• RQ1 統合された複数ソースの診断データを用いたLLMベースのシステムは、クラウドインシデントの根本原因カテゴリを効果的に予測できるか？
• RQ2 実世界の生産環境において、LLM駆動のRCAは従来の手動手法と比較してどの程度の正確性を示すか？
• RQ3 事前に定義されたインシデントハンドラは、診断データ収集の一貫性と効率性をどの程度向上できるか？
• RQ4 本システムは、多様なインシデントタイプやクラウドサービスワークロードにどの程度一般化できるか？
• RQ5 LLMが生成する説明は、オンコールエンジニアの意思決定およびインシデント対処速度にどのような影響を与えるか？

主な発見

• RCACopilotは、Microsoftクラウドインシデントの実世界データセットにおいて、最大0.766の根本的要因分析精度を達成した。
• RCACopilotの診断情報収集コンponentは、Microsoftで4年以上にわたり生産環境で使用されており、長期的な安定性と信頼性を実証した。
• 本システムは、アラートの種別とインシデントの文脈に基づき、ログ、メトリクス、トレースの統合を自動化することで、人的作業負荷を顕著に低減した。
• LLMベースの根本原因予測フェーズは、解釈可能な説明を生成するためのチェーン・オブ・チョイス推論を活用しており、透明性と信頼性の向上に寄与した。
• 監視システムがインシデントを検知できない場合、または特定のアラート種別に対応するハンドラが存在しない場合には、システムの性能が制限される。
• LLMのラウンド間での不安定性が見られたが、評価結果は一貫しており、慎重なコード検証により実装バイアスが緩和された。

Figure 3 . Distribution of incident category frequency.