[논문 리뷰] An Automated Data Engineering Pipeline for Anomaly Detection of IoT Sensor Data

Xinze Li, Baixi Zou|arXiv (Cornell University)|2021. 09. 28.

Anomaly Detection Techniques and Applications참고 문헌 24인용 수 4

한 줄 요약

이 논문은 하이브리드 클라우드-에지 아키텍처를 사용하여 실시간 IoT 센서 데이터에서 이상 탐지를 위한 자동화된 종단 간 데이터 엔지니어링 파이프라인을 제안한다. 라즈베리 파이, AWS 서비스(IoT Core, S3, DynamoDB, Lambda, Greengrass) 및 머신러닝 모델(Isolation Forest, K-means)를 활용하여 실내 활동 중에 감지된 차고 문 개방과 같은 이상 패턴을 탐지함으로써 사전 차단형 도난 방지 스마트 홈 보안 시스템을 실현하였으며, 차고 데이터에서 55,998건의 이상 현상과 침실 데이터에서 12,700건의 이상 현상을 탐지하였다.

ABSTRACT

The rapid development in the field of System of Chip (SoC) technology, Internet of Things (IoT), cloud computing, and artificial intelligence has brought more possibilities of improving and solving the current problems. With data analytics and the use of machine learning/deep learning, it is made possible to learn the underlying patterns and make decisions based on what was learned from massive data generated from IoT sensors. When combined with cloud computing, the whole pipeline can be automated, and free of manual controls and operations. In this paper, an implementation of an automated data engineering pipeline for anomaly detection of IoT sensor data is studied and proposed. The process involves the use of IoT sensors, Raspberry Pis, Amazon Web Services (AWS) and multiple machine learning techniques with the intent to identify anomalous cases for the smart home security system.

연구 동기 및 목표

• 실시간 IoT 센서 데이터에서 이상 탐지를 위한 수동 간섭을 최소화하는 종단 간 자동화된 데이터 파이프라인을 구축하기 위해.
• 에지 데이터 수집, 클라우드 처리 및 모델 배포를 지원하는 확장 가능하고 클라우드 통합 아키텍처를 설계하기 위해.
• 스마트 홈 환경에서의 이상 행동을 식별하기 위해 여러 머신러닝 모델(Isolation Forest, K-means)을 평가하고 구현하기 위해.
• 실내 활동 중에 차고 문이 열리는 것과 같은 특정 침입 시나리오를 센서 패턴 분석을 통해 탐지하기 위해.
• 주거용 IoT 시스템에서 실생활 보안 응용 프로그램을 위한 자동화된 데이터 파이프라인의 실현 가능성을 입증하기 위해.

제안 방법

• 에지에서 실시간 IoT 데이터를 수집하기 위해 임베디드 센서(가속도계, 자이로스코프, 자석계, 조도계, 온도, 습도)를 탑재한 라즈베리 파이 장치를 사용한다.
• MQTT 및 LoRaWAN 프로토콜을 사용하여 보안적이고 확장 가능한 기기 간 클라우드 통신을 위한 AWS IoT Core를 활용한다.
• 실시간 액세스를 위한 AWS DynamoDB와 장기 압축을 위한 S3에 원시 및 처리된 센서 데이터를 저장하며, 수명 주기 정책을 적용한다.
• 모델 훈련 이전에 시간 시리즈 센서 데이터를 전처리하고 풍부하게 하기 위해 AWS IoT Analytics를 적용한다.
• AWS Greengrass를 통해 서버리스 AWS Lambda 기능을 라즈베리 파이 에지 장치에 직접 배포하여 데이터 수집 및 모델 추론를 실행한다.
• 이상 탐지를 위해 Isolation Forest와 K-means 군집 분석을 적용한 후, 군집 분석을 통해 이상 행동 패턴을 해석한다.

실험 결과

연구 질문

• RQ1 분산된 IoT 센서 네트워크에서 실시간 이상 탐지를 지원하는 자동화된 종단 간 데이터 엔지니어링 파이프라인을 설계하는 방법은 무엇인가?
• RQ2 확장 가능하고 저지연, 유지보수 용이한 IoT 데이터 처리를 위한 클라우드 서비스와 에지 컴퓨팅 구성 요소의 조합은 무엇인가?
• RQ3 Isolation Forest와 K-means 군집 분석이 실생활 스마트 홈 센서 데이터에서 의미 있는 이상 패턴을 얼마나 효과적으로 식별할 수 있는가?
• RQ4 다양한 이상 군집이 특정 실생활 사건(예: 실내 활동 중 차고 문 개방)으로 의미적으로 해석될 수 있는가?
• RQ5 군집 간의 온도, 조도, 습도 수준의 기능 수준 차이가 비정상적이지만 위험하지 않은 행동(예: 조명 켤 때 침실에서 일하는 것)을 식별하는 데 어떻게 기여하는가?

주요 결과

• Isolation Forest를 사용하여 차고 환경에서 총 1,119,942개 데이터 포인트 중 55,998건의 이상 현상을 성공적으로 탐지하였으며, 이상 현상은 고조도 및 고온도 조건에 집중되어 있었다.
• 차고 데이터의 이상 현상에 대해 K-means 군집 분석을 수행한 결과 네 개의 고유한 군집을 확인하였으며, 군집 0은 높은 온도, 습도 및 조도 수준을 보이며 차고 문 개방과 공기 교환을 나타내었다.
• 침실 환경에서는 12,700건의 이상 현상이 탐지되었으며, 군집 2는 인간 존재 및 기기 사용(예: 컴퓨터, 조명)과 일치하는 상당히 높은 평균 온도 및 조도 수준을 보였다.
• 저조도 정상 조건에서 고온도 및 고조도 조합은 실내 활동 중에 차고 문이 열린 경우와 같은 잠재적 침입의 강력한 지표로 해석되었다.
• 기능 분석을 통해 이상 군집이 무작위가 아니며 의미 있는 실생활 행동을 반영하고 있음을 확인하였다. 예를 들어, 침실에서 높은 온도와 조도 수준은 활동 중인 인간 존재를 나타내었고, 높아진 차고 조건은 문 개방으로 인한 환경 변화를 암시하였다.
• 자동화된 파이프라인 통합과 AWS 서비스의 조합을 통해 실시간이고 해석 가능한 이상 탐지가 가능하며, 이는 스마트 홈 보안 응용 프로그램에 적합함을 입증하였다.