[논문 리뷰] Squeezed Convolutional Variational AutoEncoder for Unsupervised Anomaly Detection in Edge Device Industrial Internet of Things

Dohyung Kim, Hyochang Yang외 2명|arXiv (Cornell University)|2017. 12. 18.

Anomaly Detection Techniques and Applications참고 문헌 13인용 수 6

한 줄 요약

이 논문은 산업용 인터넷(IIoT) 환경에서 메모리와 처리 능력이 제한된 엣지 디바이스에서 시간 시리즈 센서 데이터의 비지도 이상 탐지에 적합한 경량이고 효율적인 딥러닝 모델인 압축된 컨volutional 변동 자동에코더(SCVAE)를 제안한다. CNN-VAE 아키텍처에 SqueezeNet의 파이어 모듈을 통합함으로써, SCVAE는 모델 크기와 추론 시간을 각각 약 30%, 약 25% 감소시켰으며, 재구성 성능는 유지한다(재구성 성능: 99.2 vs. 98.9). 이는 실시간, 자원 제약이 있는 엣지 배포에 적합하다.

ABSTRACT

In this paper, we propose Squeezed Convolutional Variational AutoEncoder (SCVAE) for anomaly detection in time series data for Edge Computing in Industrial Internet of Things (IIoT). The proposed model is applied to labeled time series data from UCI datasets for exact performance evaluation, and applied to real world data for indirect model performance comparison. In addition, by comparing the models before and after applying Fire Modules from SqueezeNet, we show that model size and inference times are reduced while similar levels of performance is maintained.

연구 동기 및 목표

• 자원 제약이 있는 엣지 디바이스에서 레이블이 부족하거나 가용하지 않은 산업용 인터넷(IIoT)의 시간 시리즈 센서 데이터에서 비지도 이상 탐지 문제를 해결하기 위해.
• 메모리와 처리 능력이 제한된 엣지 디바이스에 배포 가능한 컴act한 딥러닝 모델을 개발하기 위해.
• 실제 CNC 기계 데이터를 사용하여 다수의 기준 모델 예측을 통합하는 새로운 '매칭-일반화' 지표를 활용해 모델 성능을 평가하기 위해.
• 파이어 모듈을 통한 모델 압축이 높은 이상 탐지 성능를 유지하면서도 계산 및 메모리 오버헤드를 크게 줄이는지 확인하기 위해.

제안 방법

• 파이어 모듈(Squeeze 및 Expand 레이어 포함)을 적용하여 모델 크기와 추론 시간을 감소시키는 SqueezeNet 기반의 강화된 컨volutional 변동 자동에코더(SCVAE)를 제안한다.
• 재구성 기반 이상 탐지를 위해 시간 시리즈 데이터의 확률적 잠재 표현을 학습하기 위해 인코더-디코더 아키텍처를 갖춘 변동 자동에코더 프레임워크를 사용한다.
• 파라미터 수와 메모리 프로파일을 감소시키기 위해 파라미터 절단 및 양자화 기법을 파이어 모듈을 통해 적용함으로써 재구성 품질을 훼손하지 않고도 모델 압축을 실현한다.
• 실제 CNC 데이터에서 이상 탐지 성능을 평가하기 위해 새로운 '매칭-일반화' 지표를 도입하며, 이는 6개의 모델 중 3개 이상이 이상을 탐지하면 해당 샘플을 이상으로 레이블링한다.
• UCI 기준 데이터셋과 실제 CNC 기계 데이터를 대상으로 성능을 평가하며, 기존 모델(IF, LOF, OCSVM, EE)과 기준 CNN-VAE와의 성능을 비교한다.
• 학습 시간, 추론 시간, 메모리 크기 등을 측정하여 SCVAE가 차용 정밀도 CNN-VAE 대비 엣지 데이터셋(점유율 및 CNC)에서의 모델 효율성을 비교 분석한다.

실험 결과

연구 질문

• RQ1 제한된 자원을 가진 엣지 디바이스에 배포 가능한 압축된 VAE 아키텍처가 시간 시리즈 데이터에서 높은 이상 탐지 성능를 달성할 수 있는가?
• RQ2 SqueezeNet의 파이어 모듈 통합이 VAE 기반 이상 탐지 시스템에서 모델 크기, 추론 속도, 재구성 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 '매칭-일반화' 지표가 실제 산업 데이터에서 비지도 이상 탐지 모델 간 비교를 위한 신뢰할 수 있는 레이블 없는 평가 프레임워크를 제공하는가?
• RQ4 파이어 모듈을 통한 모델 압축이 탐지 성능을 저하시키지 않으면서 계산 및 메모리 오버헤드를 어느 정도 감소시키는가?
• RQ5 실제 CNC 기계 데이터 환경에서 SCVAE는 기존 기계 학습 모델(Isolation Forest, One-Class SVM 등)과 기준 CNN-VAE에 비해 어떻게 성능가능한가?

주요 결과

• SCVAE는 점유율(16) 데이터셋에서 PRAUC 99.2를 기록하여 기준 CNN-VAE(98.9)를 略적으로 뛰어넘었으며, 이는 압축이 재구성 성능를 떨어뜨리지 않음을 입증한다.
• 모델 추론 시간은 CNN-VAE의 8.8 ms에서 SCVAE의 6.0 ms로 감소하여 32% 향상되었으며, 모델 크기는 16 MB에서 12 MB로 감소하여 25% 감소하였다.
• 실제 CNC 데이터셋에서 SCVAE는 4종류의 CNC 중 3종류(C, D, A)에서 가장 높은 '매칭-일반화' 점수를 기록하여 다양한 산업 데이터에서 뛰어난 이상 탐지 일관성을 보였다.
• SCVAE의 성능 향상은 더 큰 데이터셋에서 더 두드러졌으며, 데이터 양이 증가할수록 학습 및 추론 시간 감소 폭이 더 커졌다.
• '매칭-일반화' 지표는 실제 레이블이 없는 환경에서 SCVAE가 최고 성능을 내는 것을 효과적으로 식별하여, 산업 현장에서의 레이블 없는 평가에 실용성을 입증하였다.
• 파이어 모듈 통합을 통해 높은 재구성 정밀도를 유지하면서도 상당한 모델 압축이 가능했으며, 이는 SCVAE가 IIoT 환경에서 엣지 배포에 적합함을 확인하였다.