[논문 리뷰] A Neural Network-Based On-device Learning Anomaly Detector for Edge Devices

Mineto Tsukada, Masaaki Kondo외 1명|arXiv (Cornell University)|2019. 07. 23.

Anomaly Detection Techniques and Applications참고 문헌 50인용 수 4

한 줄 요약

이 논문은 온디바이스 이상 탐지 기반의 신경망 ONLAD를 제안한다. 이는 엣지 디바이스에서 빠르고 저전력으로 순차 학습을 수행할 수 있도록 온라인 순차 극단적 학습기반(On-line Sequential Extreme Learning Machine, OS-ELM)을 사용한다. 이는 소프트웨어 기반 기준 대비 1.95배에서 6.58배 빠른 학습 속도와 5.0배에서 25.4배 낮은 전력 소비를 달성하며, 통신 없이도 FPGA 기반 엣지 플랫폼에서 실시간 개념 이동 적응이 가능하다. 이로 인해 엣지 기반의 독립 실행이 가능해진다.

ABSTRACT

Semi-supervised anomaly detection is an approach to identify anomalies by learning the distribution of normal data. Backpropagation neural networks (i.e., BP-NNs) based approaches have recently drawn attention because of their good generalization capability. In a typical situation, BP-NN-based models are iteratively optimized in server machines with input data gathered from edge devices. However, (1) the iterative optimization often requires significant efforts to follow changes in the distribution of normal data (i.e., concept drift), and (2) data transfers between edge and server impose additional latency and energy consumption. To address these issues, we propose ONLAD and its IP core, named ONLAD Core. ONLAD is highly optimized to perform fast sequential learning to follow concept drift in less than one millisecond. ONLAD Core realizes on-device learning for edge devices at low power consumption, which realizes standalone execution where data transfers between edge and server are not required. Experiments show that ONLAD has favorable anomaly detection capability in an environment that simulates concept drift. Evaluations of ONLAD Core confirm that the training latency is 1.95x~6.58x faster than the other software implementations. Also, the runtime power consumption of ONLAD Core implemented on PYNQ-Z1 board, a small FPGA/CPU SoC platform, is 5.0x~25.4x lower than them.

연구 동기 및 목표

• 서버 기반 역전파 신경망(BP-NNs)의 한계를 해결하기 위해 엣지 이상 탐지에서 고지연과 통신 오버헤드 문제를 해결한다.
• 에지 환경에서의 개념 이동 문제를 해결하기 위해 빠르고 순차적인 온디바이스 학습을 가능하게 한다.
• 자원 제약이 있는 엣지 디바이스에서 독립 실행이 가능한 경량이며 저전력 하드웨어 가속기(ONLAD 코어)를 설계한다.
• 최소한의 에너지 소비와 낮은 지연 시간으로 실시간 이상 탐지에 적합한 높은 추론 및 학습 효율성을 달성한다.
• 원격 서버나 데이터 전송에 의존하지 않고도 반감독 이상 탐지 모델을 엣지 디바이스에 구현할 수 있도록 한다.

제안 방법

• ONLAD를 제안한다. 이는 순차 학습이 가능한 오토에인코더 기반 반감독 이상 탐지 모델로, 온라인 순차 극단적 학습기(On-line Sequential Extreme Learning Machine, OS-ELM)를 활용한다.
• 학습 배치 크기를 1로 최적화하여 계산 비용을 극도로 감소시키고, 밀리초 수준의 업데이트를 가능하게 한다.
• FP-ELM 기반의 경량 망각 메커니즘을 도입하여 개념 이동에 효율적으로 적응하고 계산 오버헤드를 최소화한다.
• ONLAD 코어를 FPGA 플랫폼(예: PYNQ-Z1)을 대상으로 하드웨어 IP 코어로 구현하여 저전력 온디바이스 학습 및 추론을 지원한다.
• 고수준 합성(HLS)과 PYNQ 프레임워크를 활용해 CPU-FPGA 아키텍처를 공동 설계하여 외부 서버의 개입 없이 실시간 모델 업데이트를 지원한다.
• ONLAD 코어를 시스템에 통합하여 온디바이스에서 학습과 추론을 모두 수행하도록 하여 원격 서버로의 데이터 전송을 제거한다.

실험 결과

연구 질문

• RQ1 ONLAD는 전통적인 BP-NNs와 유사한 이상 탐지 성능을 달성하면서도 온디바이스 순차 학습을 가능하게 할 수 있는가?
• RQ2 ONLAD는 실시간 엣지 환경에서 개념 이동에 얼마나 효과적으로 적응하는가?
• RQ3 ONLAD 코어는 소프트웨어 기반 BP-NN 및 FP-ELM 구현 대비 학습 속도와 에너지 효율성에서 얼마나 향상되는가?
• RQ4 PYNQ-Z1과 같은 저전력 FPGA 플랫폼에 ONLAD 코어를 실용적인 모델 크기로 효율적으로 구현할 수 있는가?
• RQ5 ONLAD에 도입된 망각 메커니즘은 기존 방법 대비 속도와 개념 이동 적응 능력에서 뛰어나다고 할 수 있는가?

주요 결과

• ONLAD는 개념 이동 조건에서도 BP-NN 기반 모델과 유사한 일반화 능력을 확보한다.
• ONLAD 코어는 BP-NN 및 FP-ELM 소프트웨어 구현 대비 학습 지연 시간을 1.95배에서 6.58배까지 감소시킨다.
• PYNQ-Z1에서 ONLAD 코어의 런타임 전력 소비는 소프트웨어 기준 대비 5.0배에서 25.4배 낮다.
• ONLAD에서 제안한 망각 메커니즘은 평균적으로 FP-ELM 대비 3.21배 더 빠르며, 효율적인 개념 이동 적응이 가능하다.
• ONLAD 코어는 실용적인 모델 크기와 낮은 자원 활용도를 확보하며 PYNQ-Z1 FPGA/CPU SoC 플랫폼에 성공적으로 구현되었다.
• 시스템은 원격 서버로의 데이터 전송이 필요 없이 독립적인 온디바이스 실행이 가능해져 통신 지연과 보안 위험을 줄였다.