[論文レビュー] LEAD1.0: A Large-scale Annotated Dataset for Energy Anomaly Detection in Commercial Buildings

Manoj Gulati, Pandarasamy Arjunan|arXiv (Cornell University)|Mar 30, 2022

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本論文は、1年間分の1,413件の商業施設電力メーター時系列データを含み、手動でラベル付けされた異常を備えた大規模かつ完全にアノテーションが施されたデータセットLEAD1.0を紹介する。8つの最先端の異常検出モデルをベンチマークした結果、K-近傍法（KNN）がF1スコア0.431を達成し、耐障害性の高いエネルギー異常検出システムの学習と評価におけるデータセットの価値を示している。

ABSTRACT

Modern buildings are densely equipped with smart energy meters, which periodically generate a massive amount of time-series data yielding few million data points every day. This data can be leveraged to discover the underlying loads, infer their energy consumption patterns, inter-dependencies on environmental factors, and the building's operational properties. Furthermore, it allows us to simultaneously identify anomalies present in the electricity consumption profiles, which is a big step towards saving energy and achieving global sustainability. However, to date, the lack of large-scale annotated energy consumption datasets hinders the ongoing research in anomaly detection. We contribute to this effort by releasing a well-annotated version of a publicly available ASHRAE Great Energy Predictor III data set containing 1,413 smart electricity meter time series spanning over one year. In addition, we benchmark the performance of eight state-of-the-art anomaly detection methods on our dataset and compare their performance.

研究の動機と目的

• 商業ビルにおける異常検出のための、大規模で公開可能で、かつきわめて詳細にアノテーションが施されたエネルギー消費データセットの著しい不足に対処すること。
• 16か所の世界各地の建物から得られる多様な実世界の建物データを提供することで、機械学習モデルのより信頼性が高く一般化可能な訓練を可能にすること。
• 点異常および連続的異常の両方について、高品質で人手による検証済みのラベルを提供することで、異常検出における誤検出の低減を実現すること。
• 浪費的なエネルギー使用パターンを特定できるスケーラブルで自動化されたエネルギー監視システムの開発を支援すること。

提案手法

• データセットは、公に提供されているASHRAE Great Energy Predictor IIIコンペティションのデータをもとにし、非住宅用建物の1,413台の電力メーターに焦点を当てている。
• 異常ラベルは、分野の専門家が関与する構造的で段階的なアノテーションプロセスを通じて、24時間のエネルギー使用パターンにおける点異常および連続的異常を特定することで割り当てられた。
• アノテーションプロセスでは、訓練・検証・テストの各セットに重複がないようにし、データ漏洩を防ぎ、現実的なモデル評価を可能にした。
• LEAD1.0データセットを用いて、KNN、LOF、Iforest、OCSVM、CBLOF、HBOS、MCD、Feature Baggingの8つの最先端の異常検出モデルをベンチマークした。
• 評価指標には、適合率、再現率、F1スコアを含め、70％のテストセットで計算し、20％の検証セットでしきい値を最適化した。
• 時系列異常検出における今後のデータラベリング作業を支援するため、オープンソースのWebベースのアノテーションツールを開発・公開した。

実験結果

リサーチクエスチョン

• RQ1 大規模で実世界的かつ完全にアノテーションが施されたエネルギー消費データセット上で、既存の最先端の異常検出モデルの性能はいかほどか？
• RQ2 多様な商業ビルのエネルギープロファイルに適用した場合、異なる異常検出手法は適合率、再現率、F1スコアの観点でどのように比較されるか？
• RQ3 人手によるアノテーションラベルは、非教師あり手法と比較して、エネルギー異常検出における誤検出率をどの程度低減できるか？
• RQ4 大規模で多施設・多建物のデータセットは、エネルギー異常検出のための機械学習モデルの一般化性能を向上させることができるか？
• RQ5 提案されたアノテーションパイプラインは、さまざまな建物タイプや運用パターンにわたって、一貫性があり信頼性の高い異常ラベルを生成できるか？

主な発見

• K-近傍法（KNN）がLEAD1.0データセットでF1スコア0.431を達成し、テストされたすべてのモデルの中で最高を記録した。
• KNNは適合率0.902を記録し、誤検出を最小限に抑えて真の異常を正確に特定する信頼性の高さを示した。
• 最小分散行列（MCD）は適合率0.901を達成し、外れ値検出において優れた性能を示した。
• 局所的外れ値要因（LOF）とKNNは、再現率が約0.281～0.284を記録し、真の異常を検出する感度は中程度であった。
• ベンチマークの結果から、KNNやMCDのような教師ありおよび統計的モデルが、適合率の観点で他のモデルを大きく上回っていることが示され、高品質なラベルの価値が浮き彫りになった。
• オープンソースのアノテーションツールおよびデータセットの公開により、エネルギー異常検出研究分野における再現可能でコミュニティ主導の進展が可能になった。