[논문 리뷰] LEAD1.0: A Large-scale Annotated Dataset for Energy Anomaly Detection in Commercial Buildings

Manoj Gulati, Pandarasamy Arjunan|arXiv (Cornell University)|2022. 03. 30.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 1년간의 시간별 전력 미터 기록을 포함한 대규모로 완전히 애너테이션된 데이터셋인 LEAD1.0을 소개한다. 이 데이터셋은 1,413개의 상업용 건물 전력 미터에서 수집된 자료로, 수작업으로 레이블링된 이상치를 포함한다. 이는 8종의 최신 이상 탐지 모델을 벤치마킹하여 수행되었으며, K-Nearest Neighbors (KNN)가 F1-스코어 0.431을 기록하여 가장 높은 성능을 보였다. 이는 데이터셋이 이상 탐지 시스템의 훈련 및 평가에 있어 가치가 있음을 보여준다.

ABSTRACT

Modern buildings are densely equipped with smart energy meters, which periodically generate a massive amount of time-series data yielding few million data points every day. This data can be leveraged to discover the underlying loads, infer their energy consumption patterns, inter-dependencies on environmental factors, and the building's operational properties. Furthermore, it allows us to simultaneously identify anomalies present in the electricity consumption profiles, which is a big step towards saving energy and achieving global sustainability. However, to date, the lack of large-scale annotated energy consumption datasets hinders the ongoing research in anomaly detection. We contribute to this effort by releasing a well-annotated version of a publicly available ASHRAE Great Energy Predictor III data set containing 1,413 smart electricity meter time series spanning over one year. In addition, we benchmark the performance of eight state-of-the-art anomaly detection methods on our dataset and compare their performance.

연구 동기 및 목표

• 상업용 건물에서의 이상 탐지에 활용 가능한 대규모, 공개 가능하며 철저하게 애너테이션된 에너지 소비 데이터셋의 부족을 해결하기 위해.
• 16개의 글로벌 현장에서 수집된 다양한 실제 건물 데이터를 제공함으로써 기계학습 모델의 더 신뢰할 수 있고 일반화 가능한 훈련을 가능하게 하기 위해.
• 포인트 이상치 및 순차적 이상치에 대해 고품질의 인간 검증 레이블을 제공함으로써 이상 탐지의 임의의 경고(거짓 경고)를 줄이기 위해.
• 무단으로 에너지 낭비 패턴을 식별할 수 있는 확장 가능하고 자동화된 에너지 모니터링 시스템의 개발을 지원하기 위해.

제안 방법

• 데이터셋은 공개된 ASHRAE Great Energy Predictor III 경진대회 데이터를 바탕으로 하며, 주로 비거주용 건물의 1,413개 전력 미터에 초점을 맞춘다.
• 이상치 레이블은 전문가가 참여한 체계적이고 다단계의 애너테이션 과정을 통해 24시간 에너지 사용 패턴에서 포인트 이상치 및 순차적 이상치를 식별함으로써 할당되었다.
• 애너테이션 과정은 훈련, 검증, 테스트 세트 간에 겹침이 없도록 설계되어 데이터 泄露를 방지하고 현실적인 모델 평가를 가능하게 하였다.
• LEAD1.0 데이터셋을 사용하여 KNN, LOF, Isolation Forest, OCSVM, CBLOF, HBOS, MCD, Feature Bagging의 8종의 최신 이상 탐지 모델을 벤치마크하였다.
• 평가 지표로는 정밀도(Precision), 재현도(Recall), F1-스코어를 사용하였으며, 70% 테스트 세트에서 계산하고, 20% 검증 세트에서 임계값을 최적화하였다.
• 시계열 이상 탐지 분야의 향후 데이터 레이블링 작업을 지원하기 위해 오픈소스 웹 기반 애너테이션 툴을 개발하고 공개하였다.

실험 결과

연구 질문

• RQ1 대규모 실생활 데이터이자 완전히 애너테이션된 에너지 소비 데이터셋에서 기존 최신 이상 탐지 모델의 성능은 어떠한가?
• RQ2 다양한 상업용 건물의 에너지 프로파일에 적용했을 때, 다양한 이상 탐지 기법들이 정밀도, 재현도, F1-스코어 측면에서 어떻게 비교되는가?
• RQ3 비지도 학습 방법에 비해 인간이 애너테이션한 레이블은 에너지 이상 탐지에서 거짓 경고율을 얼마나 줄일 수 있는가?
• RQ4 대규모, 다중 현장, 다중 건물 데이터셋은 기계학습 모델의 에너지 이상 탐지에 대한 일반화 능력을 향상시킬 수 있는가?
• RQ5 제안된 애너테이션 파이프라인은 다양한 건물 유형과 운영 패턴 간에 일관되고 신뢰할 수 있는 이상치 레이블을 생성하는 데 얼마나 효과적인가?

주요 결과

• K-Nearest Neighbors (KNN)가 LEAD1.0 데이터셋에서 F1-스코어 0.431을 기록하여 테스트된 모든 다른 모델보다 뛰어난 성능을 보였다.
• KNN는 또한 가장 높은 정밀도 0.902를 기록하여 거짓 긍정을 최소화하면서 진짜 이상치를 신뢰성 있게 식별하는 데 뛰어난 성능을 보였다.
• 최소 공분산 행렬식(MCD)은 정밀도 0.901을 기록하여 외곽치 탐지에서 강력한 성능을 보였다.
• Local Outlier Factor (LOF)와 KNN는 모두 재현도 약 0.281–0.284를 기록하여 진짜 이상치를 탐지하는 데 중간 수준의 민감도를 보였다.
• 벤치마크 결과에 따르면, KNN와 MCD와 같은 지도학습 및 통계 기반 모델이 다른 모델보다 정밀도 측면에서 뚜렷이 뛰어나며, 고품질 레이블의 가치를 입증하였다.
• 오픈소스 애너테이션 툴과 데이터셋의 공개는 에너지 이상 탐지 연구 분야에서 재현 가능하고 공동체 기반의 진전을 가능하게 하였다.