[論文レビュー] AI for IT Operations (AIOps) on Cloud Platforms: Reviews, Opportunities and Challenges

Qian Cheng, Doyen Sahoo+7 more|arXiv (Cornell University)|Apr 10, 2023

Software System Performance and Reliability被引用数 20

ひとこと要約

本調査はクラウドプラットフォームにおけるAIOpsを概説し、データタイプ、タスク（インシデント検知、故障予測、根本原因分析、自動化アクション）、AI技術、成熟度の傾向を整理するとともに、課題と今後の機会を浮き彫りにします。

ABSTRACT

Artificial Intelligence for IT operations (AIOps) aims to combine the power of AI with the big data generated by IT Operations processes, particularly in cloud infrastructures, to provide actionable insights with the primary goal of maximizing availability. There are a wide variety of problems to address, and multiple use-cases, where AI capabilities can be leveraged to enhance operational efficiency. Here we provide a review of the AIOps vision, trends challenges and opportunities, specifically focusing on the underlying AI techniques. We discuss in depth the key types of data emitted by IT Operations activities, the scale and challenges in analyzing them, and where they can be helpful. We categorize the key AIOps tasks as - incident detection, failure prediction, root cause analysis and automated actions. We discuss the problem formulation for each task, and then present a taxonomy of techniques to solve these problems. We also identify relatively under explored topics, especially those that could significantly benefit from advances in AI literature. We also provide insights into the trends in this field, and what are the key investment opportunities.

研究の動機と目的

• AIOpsのビジョンと、それがクラウドプラットフォームおよびSaaSベースのサービスに関連することを説明する。
• AIOpsのタスクを分類し、それらを可観測性データタイプとAI技術に対応づける。
• スケーラブルなAIOpsのためのデータ課題、ベンチマーク、業界の実践を特定する。
• 組織のためのAIOps成熟度レベルと投資の指針について論じる。
• AI主導のIT運用における研究の余地があるテーマと将来の研究機会を浮き彫りにする。

提案手法

• インシデント検知、故障予測、根本原因分析、自動化アクションといったAIOpsタスクに関する文献をレビュー・総合する。
• データタイプ中心の分類法（指標、ログ、トレース、その他の記録）を提供し、対応するAI手法を論じる。
• 既存のシステムとベンチマーク（例：メトリクス異常検知、ログ異常検知、RCA、自動修復）を調査する。
• ラベル、リアルタイム推論、非定常性、ベンチマークなどの実用的な課題と、アクティブラーニング、ストリーミング更新、内在的異常検知といった将来の動向を概説する。
• 手動から完全自動化されたAIOps導入レベルまでを記述する成熟度フレームワークを提示する。

実験結果

リサーチクエスチョン

• RQ1 主要なAIOpsタスクは何で、それらは可観測性データタイプにどのように対応するか。
• RQ2 クラウド環境におけるインシデント検知、故障予測、根本原因分析、そして自動アクションに最も適したAI手法は何か。
• RQ3 AIOps導入を制約するデータ、ベンチマーク、運用上の課題は何か、そして潜在的な解決策は何か。
• RQ4 AIOps導入の成熟度レベルと業界導入の戦略的機会は何か。
• RQ5 AIの進展から恩恵を受ける可能性のある、未踏査のトピックは何か。

主な発見

• データモダリティとIT運用ライフサイクルの各段階に合わせたAIOpsタスクの総合的な分類法。
• 指標、ログ、トレース、およびその他のデータタイプは、それぞれ異なる異常検知とRCAのアプローチを推進し、深層学習、木構造ベース、統計モデルがタスク全体で用いられる。
• 指標とログの異常検知に対する業界システムとベンチマークは存在するが、ラベル付きの公的なトレースデータセットは少なく、RCAと故障予測を難しくしている。
• 非定常性とリアルタイム推論はオンラインAIOpsモデルの主要な課題であり、ストリーミング更新に対応した手法を必要とする。
• AIOpsの成熟度は手動運用から完全自動化されたパイプラインへと進み、CI/CD/CM/CCおよび組織投資に影響を与える。
• この調査は、ラベル付きデータが限られる問題に対処する有望な方向としてアクティブラーニングと人間を組み込んだループ（Human-in-the-Loop）アプローチを特定している。