[論文レビュー] A Neural Network-Based On-device Learning Anomaly Detector for Edge Devices

Mineto Tsukada, Masaaki Kondo+1 more|arXiv (Cornell University)|Jul 23, 2019

Anomaly Detection Techniques and Applications参考文献 50被引用数 4

ひとこと要約

本稿では、エッジデバイス上で高速で低消費電力な逐次学習を実現するため、オンライン逐次極端学習機械（OS-ELM）を用いた神経ネットワークベースのオンデバイス異常検出手法ONLADを提案する。ONLADは、ソフトウェアベースラインと比較して1.95倍～6.58倍の高速な学習と5.0倍～25.4倍の低消費電力で、リアルタイムのコンセプトドリフト適応を可能にし、FPGAベースのエッジプラットフォーム上で通信不要のスタンドアロン動作を実現する。

ABSTRACT

Semi-supervised anomaly detection is an approach to identify anomalies by learning the distribution of normal data. Backpropagation neural networks (i.e., BP-NNs) based approaches have recently drawn attention because of their good generalization capability. In a typical situation, BP-NN-based models are iteratively optimized in server machines with input data gathered from edge devices. However, (1) the iterative optimization often requires significant efforts to follow changes in the distribution of normal data (i.e., concept drift), and (2) data transfers between edge and server impose additional latency and energy consumption. To address these issues, we propose ONLAD and its IP core, named ONLAD Core. ONLAD is highly optimized to perform fast sequential learning to follow concept drift in less than one millisecond. ONLAD Core realizes on-device learning for edge devices at low power consumption, which realizes standalone execution where data transfers between edge and server are not required. Experiments show that ONLAD has favorable anomaly detection capability in an environment that simulates concept drift. Evaluations of ONLAD Core confirm that the training latency is 1.95x~6.58x faster than the other software implementations. Also, the runtime power consumption of ONLAD Core implemented on PYNQ-Z1 board, a small FPGA/CPU SoC platform, is 5.0x~25.4x lower than them.

研究の動機と目的

• サーバー基盤の誤差逆伝播ニューラルネットワーク（BP-NN）がエッジ異常検出において抱える高レイテンシーと通信オーバーヘッドの制限を解消する。
• エッジ環境におけるコンセプトドリフトの課題を克服し、迅速で逐次的なオンデバイス学習を可能にする。
• リソース制約のあるエッジデバイスでスタンドアロンで実行可能な軽量で低消費電力なハードウェアアクセラレータ（ONLADコア）を設計する。
• 最小限のエネルギー消費と低レイテンシーで高い推論および学習効率を達成し、リアルタイムの異常検出を実現する。
• リモートサーバーやデータ転送に依存せずに、エッジデバイスに準教師あり異常検出モデルをデプロイ可能にする。

提案手法

• オンライン逐次極端学習機械（OS-ELM）を用いたオートエンコーダーに基づく準教師あり異常検出モデルONLADを提案し、高速な逐次学習を実現する。
• 計算コストを著しく削減し、ミリ秒スケールでの更新を可能にするために、OS-ELMを1バッチ（バッチサイズ=1）の学習に最適化する。
• FP-ELMに基づく軽量な忘却メカニズムを導入し、最小限の計算オーバーヘッドでコンセプトドリフトに効果的に適応する。
• FPGAプラットフォーム（例：PYNQ-Z1）をターゲットにしたハードウェアIPコアとしてONLADコアを実装し、低消費電力なオンデバイス学習と推論を実現する。
• ハイレベル合成（HLS）とPYNQフレームワークを用いて、外部サーバーの関与なしにリアルタイムのモデル更新を可能にするCPU-FPGAアーキテクチャを共同設計する。
• ONLADコアを、データ転送を必要とせず、オンデバイスでの学習と推論を両立させるシステムに統合する。

実験結果

リサーチクエスチョン

• RQ1 ONLADは、従来のBP-NNと同等の異常検出性能を達成しつつ、オンデバイスでの逐次学習を可能にするか？
• RQ2 ONLADは、リアルタイムのエッジ環境におけるコンセプトドリフトに対して、どの程度効果的に適応するか？
• RQ3 ONLADコアは、ソフトウェアベースのBP-NNおよびFP-ELM実装と比較して、学習速度とエネルギー効率をどの程度向上させるか？
• RQ4 PYNQ-Z1のような低消費電力FPGAプラットフォームに、実用的なモデルサイズで効率的にONLADコアをデプロイ可能か？
• RQ5 ONLADで提案された忘却メカニズムは、既存手法と比較して、スピードとコンセプトドリフトへの適応性の面で優れているか？

主な発見

• ONLADは、特にコンセプトドリフト条件下において、BP-NNベースのモデルと同等の一般化能力を達成する。
• ONLADコアは、ソフトウェア実装のBP-NNおよびFP-ELMと比較して、学習レイテンシーを1.95倍～6.58倍まで短縮する。
• PYNQ-Z1上でのONLADコアの実行時消費電力は、ソフトウェアベースラインと比較して5.0倍～25.4倍低い。
• ONLADで提案された忘却メカニズムは、平均してFP-ELMよりも3.21倍高速であり、効率的なコンセプトドリフト適応を可能にする。
• ONLADコアは、実用的なモデルサイズと低リソース利用率で、PYNQ-Z1 FPGA/CPU SoCプラットフォームに正常に実装された。
• システムはスタンドアロンのオンデバイス実行を可能にし、リモートサーバーへのデータ転送を排除することで、通信レイテンシーとセキュリティリスクを低減する。