[論文レビュー] Deep Recurrent Electricity Theft Detection in AMI Networks with Random Tuning of Hyper-parameters

Mahmoud Nabil, Muhammad Ismail+4 more|arXiv (Cornell University)|Sep 6, 2018

Electricity Theft Detection Techniques参考文献 18被引用数 5

ひとこと要約

本稿は、電力盗難検出のための一般化された深層再帰ニューラルネットワーク（RNN）を提案する。このモデルは、顧客のエネルギー消費における時間的パターンを活用し、ゲート付き再帰ユニット（GRU）を用いる。ランダムなハイパーパrameterチューニングを用いることで、93.4%の検出率と5.0%の誤検出率を達成し、最先端の顧客固有のSVMベースの検出器をF1スコアで4%上回り、誤検出数を55%削減した。

ABSTRACT

Modern smart grids rely on advanced metering infrastructure (AMI) networks for monitoring and billing purposes. However, such an approach suffers from electricity theft cyberattacks. Different from the existing research that utilizes shallow, static, and customer-specific-based electricity theft detectors, this paper proposes a generalized deep recurrent neural network (RNN)-based electricity theft detector that can effectively thwart these cyberattacks. The proposed model exploits the time series nature of the customers' electricity consumption to implement a gated recurrent unit (GRU)-RNN, hence, improving the detection performance. In addition, the proposed RNN-based detector adopts a random search analysis in its learning stage to appropriately fine-tune its hyper-parameters. Extensive test studies are carried out to investigate the detector's performance using publicly available real data of 107,200 energy consumption days from 200 customers. Simulation results demonstrate the superior performance of the proposed detector compared with state-of-the-art electricity theft detectors.

研究の動機と目的

• 新規顧客への適用が不適切で、汚染攻撃に対して脆弱な、従来の浅い、静的で顧客固有の電力盗難検出器の限界を解消すること。
• 時系列エネルギー消費データにおける時間的相関を活用し、静的または非再帰的モデルを上回る検出性能を実現すること。
• 複数の顧客からの集約データを用いてトレーニングする一般化された検出モデルを開発し、スケーラビリティと耐障害性を向上させること。
• グリッドサーチに代わるランダムサーチを用いることで、ハイパーパrameterチューニングの効率を向上させ、トレーニング時間を短縮しながらも高い精度を維持すること。
• 公開データセットを用いた実世界の電力盗難検出において、SVMのような浅いモデルと比較して、深層RNNアーキテクチャの優位性を示すこと。

提案手法

• 顧客間の順序付きエネルギー消費パターンをモデル化するため、ゲート付き再帰ユニット（GRU）に基づく深層RNNアーキテクチャを採用する。
• 200人の顧客からの統合トレーニングデータを用いてモデルをトレーニングし、特徴量スケーリングとK=3のK-fold交差検証を適用して堅牢な評価を実施する。
• 層の数（2–4）、ニューロン数（100–500）、最適化手法（SGD、Adam、RMSpropなど）、活性化関数（ReLU、Sigmoid、Tanh、Softmax）を対象としたランダムサーチによるハイパーパrameter探索を実施する。
• 過学習を防ぐために、Glorot均一初期化とドロップアウト率0.2を適用する。
• 高性能GPUクラスタ（NVIDIA Tesla K80を2台搭載）上でTensorFlowとKerasを用いてモデルを実装する。
• 全顧客から統合されたテストセットを用いて性能を評価し、DR（検出率）、FA（誤検出率）、HD（調和差）を指標として用いる。

Figure 1: Architecture of general RNN-based electricity theft detector.

実験結果

リサーチクエスチョン

• RQ1 時間的パターンをモデル化することで、深層再帰ニューラルネットワークは顧客のエネルギー消費データにおける電力盗難を効果的に検出できるか？
• RQ2 電力盗難検出において、従来のグリッドサーチに比べてランダムサーチが検出性能とトレーニング効率の両面で優れているか？
• RQ3 集約された顧客データを用いてトレーニングされた一般化されたRNNモデルは、顧客固有のモデルと比較して検出精度と耐障害性に優れているか？
• RQ4 異なる活性化関数と最適化手法が、電力盗難検出における深層RNNの性能に与える影響は何か？
• RQ5 深層学習モデルは、SVMのような浅い機械学習ベースラインと比較して、誤検出率をどの程度低減できるか？

主な発見

• 提案されたGRU-RNNモデルは、テストセットで93.4%の検出率（DR）と5.0%の誤検出率（FA）を達成し、ベンチマークのSVMベース検出器を上回った。
• 最良の設定（MD2およびMD3）では、調和差（HD）スコアが87.4%に達し、[1]の最先端検出器と比較して4%の改善を示した。
• ランダムサーチにより、高性能なハイパーパrameterの組み合わせが効果的に同定された。一方、ReLU活性化関数を用いたモデルは、高い容量にもかかわらず収束が不十分であった。
• SGDやAdagradなどの最適化手法は、十分なトレーニングエポック数（I=10）が不足していたため、劣った結果を示したのに対し、AdamやRMSpropは良好な収束を示した。
• 出力層におけるSoftmax活性化関数は、すべての設定で一貫して最高の結果を示し、本研究の文脈における二値分類に適していることが示された。
• 一般化モデルは、個々の顧客データに依存しないため、顧客固有のモデルよりも汚染攻撃に対してより耐性があることが確認された。