[論文レビュー] Deep Convolutional Neural Networks for Anomaly Event Classification on Distributed Systems

Jiechao Cheng, Rui Ren+2 more|arXiv (Cornell University)|Oct 25, 2017

Anomaly Detection Techniques and Applications参考文献 28被引用数 3

ひとこと要約

本論文は、分散システムにおける自動異常イベント分類のため、深層畳み込みニューラルネットワーク（CNN）と組み合わせた新しいログ前処理手法を提案する。重要なログ特徴をフィルタリングし、最先端のCNNアーキテクチャを活用することで、分類精度が98.14%に達し、従来の機械学習手法を著しく上回る。

ABSTRACT

The increasing popularity of server usage has brought a plenty of anomaly log events, which have threatened a vast collection of machines. Recognizing and categorizing the anomalous events thereby is a much salient work for our systems, especially the ones generate the massive amount of data and harness it for technology value creation and business development. To assist in focusing on the classification and the prediction of anomaly events, and gaining critical insights from system event records, we propose a novel log preprocessing method which is very effective to filter abundant information and retain critical characteristics. Additionally, a competitive approach for automated classification of anomalous events detected from the distributed system logs with the state-of-the-art deep (Convolutional Neural Network) architectures is proposed in this paper. We measure a series of deep CNN algorithms with varied hyper-parameter combinations by using standard evaluation metrics, the results of our study reveals the advantages and potential capabilities of the proposed deep CNN models for anomaly event classification tasks on real-world systems. The optimal classification precision of our approach is 98.14%, which surpasses the popular traditional machine learning methods.

研究の動機と目的

• 大規模な分散システムが生成する膨大なログデータから異常イベントを分類する課題に対処すること。
• 従来の機械学習手法を置き換えたり強化することで、異常検出の精度と自動化を向上させること。
• 冗長な情報をフィルタリングし、重要なシステム特性を保持する効果的なログ前処理技術を開発すること。
• 実際のシステムログを用いて、異常分類に最適な深層CNNアーキテクチャを評価および最適化すること。
• 従来の手法と比較して優れた性能を示す、深層学習ベースの異常分類のベンチマークを確立すること。

提案手法

• 下流の分類に適した重要なログ特徴のみを保持し、冗長な情報をフィルタリングする新しいログ前処理手法を提案する。
• 異常イベントの検出および分類のためのコア分類モデルとして、深層畳み込みニューラルネットワーク（CNN）アーキテクチャを採用する。
• 最適なパフォーマンス設定を特定するために、異なるハイパーパramータ設定を用いた複数のCNNバージョンの学習と評価を実施する。
• 標準的な評価指標（精度、再現率、F1スコア）を用いて、実際のシステムログデータ上でのモデル効果を測定する。
• 畳み込み層による特徴抽出と表現学習を通じて、異常を示すパターンを自動的に検出する。
• 体系的な実験を通じてモデルアーキテクチャとハイパーパramータを最適化し、分類精度を最大化する。

実験結果

リサーチクエスチョン

• RQ1 深層CNNベースのアプローチは、従来の機械学習手法よりも、分散システムのログからの異常イベント分類で優れた性能を示せるか？
• RQ2 提案されたログ前処理手法は、システムログのノイズを低減しながら特徴表現を効果的に向上させられるか？
• RQ3 異常分類の文脈において、深層CNNモデルの最適なハイパーパramータ設定は何か？
• RQ4 深層学習モデルは、実際の分散システムにおける異常イベントの高精度分類をどの程度達成できるか？
• RQ5 異常検出の精度に最も寄与するログデータの特徴は何か？

主な発見

• 提案された深層CNNモデルは、分類精度が98.14%に達し、従来の機械学習手法を著しく上回る優れた性能を示した。
• 最適化されたログ前処理手法は、ノイズを効果的に低減し、顕著な特徴を保持することで、モデルの汎化性能と精度を向上させた。
• 異なるハイパーパramータの組み合わせがモデルのパフォーマンスに顕著な影響を与え、特定の設定では顕著に高い精度が得られた。
• 深層CNNアーキテクチャは、ログシーケンス内の複雑なパターンを効果的に学習し、異常イベントの正確な検出を可能にした。
• 結果から、深層学習モデルが大規模な分散システムにおける自動異常分類に極めて効果的であることが確認された。