[논문 리뷰] IoT Data Analytics Using Deep Learning

Xiaofeng Xie, Di Wu외 2명|arXiv (Cornell University)|2017. 08. 13.

Time Series Analysis and Forecasting참고 문헌 14인용 수 26

한 줄 요약

이 논문은 시간 시리즈 예측을 위한 장기 단기 기억(LSTM) 네트워크와 이상 탐지에 적합한 가우시안 나이브 베이즈 분류기를 융합한 하이브리드 딥러닝 모델인 LSTM-Gauss-NBayes를 제안한다. 이 방법은 다양한 실세계 데이터셋에서 시간 의존성 패턴이 상이한 환경에서도 뛰어난 성능을 보이며, 광범위한 전처리 없이도 비정상 이벤트를 효과적으로 식별함을 입증한다.

ABSTRACT

Deep learning is a popular machine learning approach which has achieved a lot of progress in all traditional machine learning areas. Internet of thing (IoT) and Smart City deployments are generating large amounts of time-series sensor data in need of analysis. Applying deep learning to these domains has been an important topic of research. The Long-Short Term Memory (LSTM) network has been proven to be well suited for dealing with and predicting important events with long intervals and delays in the time series. LTSM networks have the ability to maintain long-term memory. In an LTSM network, a stacked LSTM hidden layer also makes it possible to learn a high level temporal feature without the need of any fine tuning and preprocessing which would be required by other techniques. In this paper, we construct a long-short term memory (LSTM) recurrent neural network structure, use the normal time series training set to build the prediction model. And then we use the predicted error from the prediction model to construct a Gaussian naive Bayes model to detect whether the original sample is abnormal. This method is called LSTM-Gauss-NBayes for short. We use three real-world data sets, each of which involve long-term time-dependence or short-term time-dependence, even very weak time dependence. The experimental results show that LSTM-Gauss-NBayes is an effective and robust model.

연구 동기 및 목표

• 스마트 시티 및 산업 애플리케이션에서 대규모의 시간 의존적 IoT 센서 데이터를 분석하는 데 도전하는 데 목적을 둔다.
• IoT 시간 시리즈 데이터에서 강한 시간 의존성과 약한 시간 의존성 모두를 다룰 수 있는 강건한 이상 탐지 방법을 개발하는 데 목적을 둔다.
• 엔드 투 엔드 딥러닝을 활용해 수동적인 특징 공학 및 전처리에 의존도를 줄이는 데 목적을 둔다.
• 시간 의존성 정도가 상이한 다양한 실세계 IoT 데이터셋에서 모델 성능을 평가하는 데 목적을 둔다.
• 실제 IoT 분석 시나리오에서 LSTM-Gauss-NBayes 프레임워크의 효과성과 일반화 능력을 입증하는 데 목적을 둔다.

제안 방법

• 시간 시리즈 센서 데이터를 모델링하고 예측하기 위해 스택드된 장기 단기 기억(LSTM) 순환 신경망을 구축한다.
• 정상 시간 시리즈 데이터로 LSTM 모델을 훈련시켜 예측 출력을 생성한다.
• 실제 값과 예측 값 간의 예측 오차를 이상 탐지의 입력 특징으로 계산한다.
• 예측 오차 분포를 기반으로 가우시안 나이브 베이즈 분류기를 훈련시어 샘플을 정상 또는 비정상으로 분류한다.
• LSTM 및 가우시안 나이브 베이즈 모델을 통합한 통합 프레임워크인 LSTM-Gauss-NBayes를 구축하여 엔드 투 엔드 이상 탐지 기능을 제공한다.
• 추가 전처리나 미세 조정 없이도 LSTM이 고차원의 시간적 특징을 자율적으로 학습할 수 있는 능력을 활용한다.

실험 결과

연구 질문

• RQ1 LSTM 기반 모델은 다양한 IoT 센서 데이터에서 장기적·단기적 시간 의존성을 효과적으로 포착할 수 있는가?
• RQ2 수동적인 특징 공학이나 광범위한 데이터 전처리 없이 LSTM-Gauss-NBayes 모델이 이상을 얼마나 잘 탐지하는가?
• RQ3 시간 의존성 정도가 상이한 데이터셋, 특히 약한 시간 패턴을 포함한 데이터셋에서도 하이브리드 모델이 강건한 성능을 유지하는가?
• RQ4 전통적 방법에 비해 LSTM-Gauss-NBayes 모델은 이상 탐지 정확도와 일반화 능력 측면에서 어떻게 비교되는가?
• RQ5 LSTM 모델의 예측 오차는 확률 기반 이상 탐지 분류기의 신뢰할 수 있는 입력으로 기능할 수 있는가?

주요 결과

• LSTM-Gauss-NBayes 모델은 모든 세 개의 실세계 IoT 데이터셋에서 높은 탐지 정확도를 달성하여 강력한 강건성을 입증했다.
• 모델은 장기적 의존성, 단기적 의존성, 심지어 매우 약한 시간 의존성까지도 효과적으로 처리했다.
• 모델은 수동적인 특징 공학이나 데이터 전처리가 필요 없었으며, 대신 LSTM의 내부 표현 학습 능력에 의존했다.
• 가우시안 나이브 베이즈 분류기는 예측 오차를 효과적으로 활용해 정상 샘플과 비정상 샘플을 높은 정밀도로 구분했다.
• 실험 결과는 하이브리드 모델이 다양한 IoT 데이터 시나리오에서 효과적이며 일반화 능력이 있음을 확인했다.
• 특히 복잡한 시간 패턴을 포함한 환경에서 베이스라인 방법에 비해 이상 탐지 성능에서 뛰어난 성능을 보였다.