[논문 리뷰] Log Message Anomaly Detection and Classification Using Auto-B/LSTM and Auto-GRU

Amir Farzad, T. Aaron Gulliver|arXiv (Cornell University)|2019. 11. 20.

Software System Performance and Reliability인용 수 10

한 줄 요약

이 논문은 자동에코더와 순환 신경망을 조합한 Auto-LSTM, Auto-BLSTM, Auto-GRU 모델을 제안하여 이상 탐지 및 로그 메시지 분류를 수행한다. 먼저 자동에코더를 통해 비구조화된 로그 데이터를 의미 있는 특징으로 압축한 후, LSTM, BLSTM 또는 GRU를 사용하여 시퀀스 모델링을 수행함으로써, 기준 로그 데이터셋에서 99% 이상의 정확도, 정밀도 및 F-측정치를 달성하며, 기존 방법보다 훨씬 적은 학습 데이터를 사용함에도 불구하고 뛰어난 성능을 발휘한다.

ABSTRACT

Log messages are now widely used in software systems. They are important for classification as millions of logs are generated each day. Most logs are unstructured which makes classification a challenge. In this paper, Deep Learning (DL) methods called Auto-LSTM, Auto-BLSTM and Auto-GRU are developed for anomaly detection and log classification. These models are used to convert unstructured log data to extracted features which is suitable for classification algorithms. They are evaluated using four data sets, namely BGL, Openstack, Thunderbird and IMDB. The first three are popular log data sets while the fourth is a movie review data set which is used for sentiment classification. The results obtained show that Auto-LSTM, Auto-BLSTM and Auto-GRU perform better than other well-known algorithms.

연구 동기 및 목표

• 대규모 소프트웨어 시스템에서 생성되는 비구조화된 로그 메시지의 이상 탐지 문제를 해결하기 위해.
• 원시적 비구조화된 로그 텍스트에서 의미 있는 특징을 추출하여 로그 분류 성능을 향상시키기 위해.
• 낮은 학습 데이터로도 높은 정확도를 유지하면서 이상 탐지 및 분류에 성능이 뛰어난 딥 러닝 모델을 개발하기 위해.
• 다양한 데이터셋(시스템 로그 및 감성 레이블이 부여된 텍스트 포함)에서 제안된 모델을 평가하여 일반화 능력을 입증하기 위해.
• 자동에코더 기반 특징 추출이 순차적 로그 데이터에서 순환 신경망의 성능을 향상시키는지 입증하기 위해.

제안 방법

• 원시 로그 메시지를 구조적 및 의미적 특징을 유지하면서 낮은 차원의 잠재 표현으로 압축하기 위해 자동에코더를 사용한다.
• 자동에코더에서 학습된 잠재 특징을 LSTM, BLSTM 또는 GRU 네트워크에 입력하여 시퀀스 모델링 및 분류를 수행한다.
• 자동에코더 학습 이전에 텍스트 로그 메시지를 수치 벡터로 변환하기 위해 단어 빈도를 사용하며, 기본적인 단어 수준의 관계를 유지한다.
• 자동에코더의 재구성 손실과 분류 헤드의 교차 엔트로피 손실을 사용하여 백프로파게이션을 통한 엔드 투 엔드 학습을 수행한다.
• 일반화 성능 평가를 위해 10겹 교차 검증을 적용하며, 학습 데이터는 총 데이터셋의 1% 미만으로 제한된다.
• 향후 성능 향상을 위해 하이퍼파rameter 튜닝을 제안한다.

실험 결과

연구 질문

• RQ1 자동에코더 기반 특징 추출이 로그 이상 탐지 및 분류에서 순환 신경망의 성능을 향상시키는가?
• RQ2 Auto-LSTM, Auto-BLSTM, Auto-GRU는 로그 데이터셋에서 기존 모델 대비 정확도, 정밀도, 재현율 및 F-측정치 측면에서 어떻게 비교되는가?
• RQ3 이 모델들이 감성 분석과 같은 비로그 텍스트 분류 작업으로까지 일반화되는 정도는 어느 정도인가?
• RQ4 학습 데이터의 소수의 비율(1% 미만)을 사용하더라도 자동에코더 기반 특징 학습과 조합하여 높은 성능을 달성할 수 있는가?
• RQ5 Auto-BLSTM의 양방향 컨텍스트가 단방향 LSTM 및 GRU에 비해 로그 메시지 의미를 더 잘 포착하는가?

주요 결과

• Auto-BLSTM 모델은 BGL, OpenStack 및 Thunderbird 데이터셋에서 평균 검증 정확도 99.6%와 테스트 정확도 99.4%를 기록하여 가장 높은 성능를 보였다.
• BGL 데이터셋에서 Auto-BLSTM 모델은 이상 로그(양성)에 대해 재현율 99.9%와 F-측정치 99.3%를 달성했다.
• Auto-LSTM 모델은 테스트 정확도 99.0%를 기록했으며, 음성 로그에 대해 정밀도 98.4%와 재현율 99.8%를 기록했다.
• Auto-GRU 모델은 테스트 정확도 99.2%를 기록했으며, 음성 로그에 대해 정밀도 98.7%와 재현율 99.9%를, 양성 로그에 대해 정밀도 99.9%와 재현율 98.5%를 기록했다.
• 모든 모델가 IKNN 알고리즘을 초월하여 음성 로그 메시지에 대해 정밀도(98.7% 대 96%), 재현율(99.9% 대 96%), F-측정치(99.1% 대 96%)에서 높은 성능를 기록했다.
• 모델들은 IMDB 영화 리뷰 데이터셋으로도 잘 일반화되어 감성 분류 작업에서 뛰어난 성능를 보였으며, 이는 로그 분석을 넘어서도 넓은 적용 가능성을 시사한다.