[논문 리뷰] Deep Convolutional Neural Networks for Anomaly Event Classification on Distributed Systems

Jiechao Cheng, Rui Ren외 2명|arXiv (Cornell University)|2017. 10. 25.

Anomaly Detection Techniques and Applications참고 문헌 28인용 수 3

한 줄 요약

이 논문은 분산 시스템에서 자동 이상 이벤트 분류를 위해 고도로 최적화된 로그 전처리 방법과 딥 컨volution 신경망(CNN)을 결합한 새로운 방법을 제안한다. 핵심 로그 특징을 필터링하고 최신의 CNN 아키텍처를 활용함으로써, 이 방법은 98.14%의 분류 정밀도를 달성하여 기존의 기계학습 방법보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

The increasing popularity of server usage has brought a plenty of anomaly log events, which have threatened a vast collection of machines. Recognizing and categorizing the anomalous events thereby is a much salient work for our systems, especially the ones generate the massive amount of data and harness it for technology value creation and business development. To assist in focusing on the classification and the prediction of anomaly events, and gaining critical insights from system event records, we propose a novel log preprocessing method which is very effective to filter abundant information and retain critical characteristics. Additionally, a competitive approach for automated classification of anomalous events detected from the distributed system logs with the state-of-the-art deep (Convolutional Neural Network) architectures is proposed in this paper. We measure a series of deep CNN algorithms with varied hyper-parameter combinations by using standard evaluation metrics, the results of our study reveals the advantages and potential capabilities of the proposed deep CNN models for anomaly event classification tasks on real-world systems. The optimal classification precision of our approach is 98.14%, which surpasses the popular traditional machine learning methods.

연구 동기 및 목표

• 대규모 분산 시스템에서 발생하는 막대한 양의 로그 데이터를 처리하는 데 있어 이상 이벤트 분류의 과제를 해결하기 위해.
• 기존의 기계학습 접근 방식을 대체하거나 향상시켜 이상 탐지의 정확도와 자동화 수준을 향상시키기 위해.
• 과도한 정보를 제거하면서도 핵심 시스템 특성을 유지하는 효과적인 로그 전처리 기법을 개발하기 위해.
• 실세계 시스템 로그를 활용하여 딥 컨volution 신경망 아키텍처를 평가하고 최적화하기 위해.
• 기존 방법에 비해 뛰어난 성능을 보이는 딥러닝 기반 이상 분류의 벤치마크를 수립하기 위해.

제안 방법

• 후속 분류 작업에 유용한 핵심 로그 특성만 유지하고 불필요한 정보를 제거하기 위한 새로운 로그 전처리 방법을 제안한다.
• 이상 이벤트를 탐지하고 분류하기 위한 핵심 분류 모델로 딥 컨volution 신경망(CNN) 아키텍처를 활용한다.
• 최적의 성능 설정을 도출하기 위해 다양한 하이퍼파rameter 설정을 적용한 여러 CNN 변종을 훈련하고 평가한다.
• 정밀도, 재현율, F1 점수와 같은 표준 평가 지표를 사용하여 실세계 시스템 로그 데이터 기반의 모델 성능을 측정한다.
• 컨볼루션 레이어를 통해 특징 추출 및 표현 학습을 수행하여 이상을 나타내는 패턴을 자동으로 탐지한다.
• 시스템적 실험을 통해 모델 아키텍처와 하이퍼파rameter를 최적화하여 분류 정확도를 극대화한다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 신경망 기반 접근 방식이 기존의 기계학습 방법보다 분산 시스템 로그에서 이상 이벤트를 분류하는 데 뛰어난 성능을 보일 수 있는가?
• RQ2 제안된 로그 전처리 방법은 시스템 로그의 노이즈를 줄이고 특징 표현을 향상시키는 데 얼마나 효과적인가?
• RQ3 이상 분류의 맥락에서 딥 컨볼루션 신경망 모델의 최적 하이퍼파rameter 조합은 무엇인가?
• RQ4 딥 러닝 모델은 실세계 분산 시스템에서 이상 이벤트를 고정밀도로 분류하는 데 어느 정도의 성능을 발휘할 수 있는가?
• RQ5 이상 탐지 정확도에 가장 크게 기여하는 로그 데이터의 핵심 특성은 무엇인가?

주요 결과

• 제안된 딥 컨볼루션 신경망 모델은 98.14%의 분류 정밀도를 달성하여 기존의 기계학습 방법에 비해 뛰어난 성능을 보였다.
• 최적화된 로그 전처리 방법은 노이즈를 효과적으로 줄이고 주요 특징을 유지하여 모델의 일반화 능력과 정확도를 향상시켰다.
• 다양한 하이퍼파rameter 조합은 모델 성능에 상당한 영향을 미치며, 특정 설정에서는 정밀도가 크게 향상되었다.
• 딥 컨볼루션 신경망 아키텍처는 로그 시퀀스 내 복잡한 패턴을 성공적으로 학습하여 이상 이벤트의 정확한 탐지가 가능했다.
• 결과적으로 딥 러닝 모델이 대규모 분산 시스템에서 자동 이상 분류에 매우 효과적임을 확인하였다.