[논문 리뷰] Adaptive Anomaly Detection for IoT Data in Hierarchical Edge Computing

Mao V. Ngo, Hakima Chaouchi외 2명|arXiv (Cornell University)|2020. 01. 10.

Anomaly Detection Techniques and Applications참고 문헌 13인용 수 8

한 줄 요약

이 논문은 계층적 엣지 컴퓨팅(HEC) 환경에서 IoT 데이터의 적응형 이상 탐지 프레임워크를 제안한다. 이는 입력 데이터의 맥락에 따라 IoT 장치에서의 경량 모델, 엣지 서버에서의 중간 모델, 클라우드에서의 복잡한 모델 중 동적으로 선택하는 방식이다. 이는 단일 스텝 마코프 결정 과정(MDP) 내에서의 맥락 기반 밴딧 문제로 공식화되었으며, 탐지 지연을 84% 감소시키면서도 클라우드 수준의 정확도를 유지함으로써 실세계 평가에서 성능과 지연 간 최적의 트레이드오프를 달성한다.

ABSTRACT

Advances in deep neural networks (DNN) greatly bolster real-time detection of anomalous IoT data. However, IoT devices can barely afford complex DNN models due to limited computational power and energy supply. While one can offload anomaly detection tasks to the cloud, it incurs long delay and requires large bandwidth when thousands of IoT devices stream data to the cloud concurrently. In this paper, we propose an adaptive anomaly detection approach for hierarchical edge computing (HEC) systems to solve this problem. Specifically, we first construct three anomaly detection DNN models of increasing complexity, and associate them with the three layers of HEC from bottom to top, i.e., IoT devices, edge servers, and cloud. Then, we design an adaptive scheme to select one of the models based on the contextual information extracted from input data, to perform anomaly detection. The selection is formulated as a contextual bandit problem and is characterized by a single-step Markov decision process, with an objective of achieving high detection accuracy and low detection delay simultaneously. We evaluate our proposed approach using a real IoT dataset, and demonstrate that it reduces detection delay by 84% while maintaining almost the same accuracy as compared to offloading detection tasks to the cloud. In addition, our evaluation also shows that it outperforms other baseline schemes.

연구 동기 및 목표

• 데이터 복잡성에 관계없이 동일한 보편적 모델을 사용하는 기존 IoT 이상 탐지 방법의 한계를 해결하기 위해.
• 엣지-IoT 시스템에서 정확도 확보를 위해 탐지 지연과 자원 효율성에 대한 고려가 부족한 문제를 해결하기 위해.
• 입력 데이터의 맥락적 특징 기반으로 현지에서 결정을 내림으로써 IoT 장치와 클라우드 간의 불필요한 데이터 전송을 최소화하기 위해.
• 실시간 IoT 응용 프로그램에서 탐지 정확도와 저지연 응답 간 최적의 트레이드오프를 달성하기 위해.

제안 방법

• IoT, 엣지, 클라우드 계층의 계산 능력에 맞추어 점점 더 복잡한 파라미터 수와 FLOPs를 갖는 세 가지 점진적으로 복잡한 DNN 모델—AE-IoT, AE-Edge, AE-Cloud—을 오토에인코더 아키텍처 기반으로 구축한다.
• 모델 선택 과정은 단일 스텝 마코프 결정 과정(MDP) 내에서 맥락 기반 밴딧 문제로 모델링되며, 정책 네트워크가 실시간 입력 맥락에 기반해 최적의 모델을 선택한다.
• 정확도와 지연 간 균형을 조정할 수 있도록 조정 가능한 하이퍼파라미터 α를 포함한 비용 함수를 사용하여 강화학습 훈련을 통한 트레이드오프 최적화를 가능하게 한다.
• 입력 데이터에서 추출한 맥락적 특징(예: 재구성 오차 logPD)을 정책 네트워크의 입력으로 사용하여 모델 선택을 안내한다.
• 정책 네트워크는 F1 점수와 탐지 지연을 통합한 보상 함수를 사용하여 훈련되며, 총 보상이 최대화되도록 학습된다.
• 모든 데이터를 클라우드로 오프로딩하는 것을 피하기 위해, 각 입력에 대해 가장 가벼운 타당한 모델을 선택함으로써 대역폭과 지연을 줄인다.

실험 결과

연구 질문

• RQ1 입력 데이터 맥락 기반의 동적 모델 선택 전략이 IoT 이상 탐지에서 정확도-지연 트레이드오프를 향상시킬 수 있는가?
• RQ2 계층적 엣지 레이어를 통해 적응형 모델 선택 전략이 고정된 오프로딩 또는 순차적 처리 방식에 비해 탐지 지연과 정확도 측면에서 어떻게 비교되는가?
• RQ3 맥락 기반 밴딧을 통해 훈련된 정책 네트워크가 엣지-IoT 시스템에서 불필요한 데이터 전송과 계산 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 다중 레이어 HEC 아키텍처를 사용할 경우, 모델 복잡성과 탐지 성능 간 최적의 균형은 무엇인가?

주요 결과

• 제안된 적응형 기법은 전체 클라우드 오프로딩 대비 평균 탐지 지연을 84% 감소시켰다(16.28ms 대비 100.00ms)면서도 98.90%의 정확도를 유지하였다.
• 이 기법은 F1 점수 0.833을 기록하여 AE-IoT(0.465), AE-Edge(0.741), Successive-4(0.714)를 모두 능가했으며, AE-Cloud(0.870)에 비해 뿐다 0.037 뿐 낮게 나타났다.
• α = 0.0025일 때, 총 보상 49.52를 기록하여 정확도와 지연을 종합적으로 고려한 성능이 가장 뛰어났다.
• α ≤ 0.0015일 경우, 클라우드 전용 탐지 대비 지연을 40~60% 감소시키면서도 거의 클라우드 수준의 정확도(99.18%)를 확보하였다.
• 이 기법은 다양한 데이터 난이도 수준에서 모든 베이스라인 대비 F1 점수와 지연 측면에서 뛰어난 성능을 보이며, 강건성을 입증하였다.
• 정책 네트워크는 간단한 이상은 엣지 장치로, 복잡한 이상은 클라우드로 라우팅하는 데 효과적으로 학습하여 불필요한 통신과 계산을 최소화하였다.