[논문 리뷰] Neighborhood Features Help Detecting Non-Technical Losses in Big Data Sets

Patrick Glauner, Jorge Augusto Meira외 5명|arXiv (Cornell University)|2016. 07. 04.

Electricity Theft Detection Techniques참고 문헌 25인용 수 10

한 줄 요약

이 논문은 전력 배전망에서 비기술적 손실(NTL)을 탐지하기 위한 새로운 특징 공학 기법을 제안한다. 이 기법은 격자 기반 고객 클러스터링에서 유도된 공간적 이웃 특징을 활용한다. 시간적 시계열 및 마스터 데이터 특징과 결합함으로써, 3,100만 건의 미터 읽기 데이터셋을 대상으로 네 가지 확장 가능한 기계학습 모델을 사용하여 다양한 NTL 비율(1%~90%)에서 NTL 탐지 정확도를 크게 향상시킨다. 랜덤 포레스트 모델이 AUC 0.628을 기록하며 최고 성능을 보였다.

ABSTRACT

Electricity theft is a major problem around the world in both developed and developing countries and may range up to 40% of the total electricity distributed. More generally, electricity theft belongs to non-technical losses (NTL), which are losses that occur during the distribution of electricity in power grids. In this paper, we build features from the neighborhood of customers. We first split the area in which the customers are located into grids of different sizes. For each grid cell we then compute the proportion of inspected customers and the proportion of NTL found among the inspected customers. We then analyze the distributions of features generated and show why they are useful to predict NTL. In addition, we compute features from the consumption time series of customers. We also use master data features of customers, such as their customer class and voltage of their connection. We compute these features for a Big Data base of 31M meter readings, 700K customers and 400K inspection results. We then use these features to train four machine learning algorithms that are particularly suitable for Big Data sets because of their parallelizable structure: logistic regression, k-nearest neighbors, linear support vector machine and random forest. Using the neighborhood features instead of only analyzing the time series has resulted in appreciable results for Big Data sets for varying NTL proportions of 1%-90%. This work can therefore be deployed to a wide range of different regions around the world.

연구 동기 및 목표

• 대규모 전력 배전망에서 전력 도난 및 미터링 오류를 포함한 비기술적 손실(NTL) 탐지의 과제를 해결한다.
• 이전 방법이 시간적 시계열 소비 데이터에만 의존하는 데서 비롯되는 한계를 극복하기 위해 공간적 및 맥락적 고객 특징을 통합한다.
• 이상치 비율이 다양하게 변하는 불균형 데이터셋에서 다양한 NTL 비율(1%에서 90%까지)에 대해 확장 가능하고 병렬 처리 가능한 기계학습 모델을 통해 탐지 정확도를 향상시킨다.
• 다양한 격자 크기와 데이터 분포에서 이웃 기반 특징이 모델 성능에 미치는 영향을 평가한다.
• 다양한 지리적 및 인프라적 맥락에 적용 가능한 구현 가능한 NTL 탐지 프레임워크를 제공한다.

제안 방법

• 지역 고객 밀도와 NTL 패턴을 포착하기 위해 다양한 크기의 격자로 지리적 영역을 분할한다.
• 각 격자 셀당 두 가지 핵심 이웃 특징을 계산한다: (1) 점검된 고객 비율, (2) NTL을 확인한 점검 고객 비율.
• 최근 점검 이전 12개월간의 일일 평균 소비 데이터에서 시간적 시계열 특징을 추출한다.
• 고객 등급 및 연결 전압 수준과 같은 범주형 마스터 데이터 특징을 통합한다.
• 네 가지 확장 가능하고 병렬 처리 가능한 기계학습 모델(로지스틱 회귀, k-최근접 이웃, 선형 서포트 벡터 머신, 랜덤 포레스트)을 훈련시킨다.
• NTL 비율이 다양하게 변하는 상황(1%에서 90%까지)에서 모델 성능을 평가하기 위해 AUC를 주요 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 시간적 시계열 특징만을 사용하는 것과 비교해, 이웃 기반 공간적 특징이 비기술적 손실 탐지에 어떤 영향을 미치는가?
• RQ2 다양한 격자 크기가 이웃 특징의 통계적 분포와 예측 능력에 어떤 영향을 미치는가?
• RQ3 실세계의 대용량 데이터에서 다양한 NTL 비율(1%에서 90%까지)에서 제안된 특징들이 어떻게 성능을 발휘하는가?
• RQ4 이웃 특징, 시간적 시계열 특징, 마스터 데이터 특징을 모두 조합했을 때 어떤 기계학습 모델이 가장 우수한 성능을 보이는가?
• RQ5 이웃 특징은 NTL 탐지에서 클래스 불균형과 편향된 점검 레이블의 영향을 어느 정도 줄이는가?

주요 결과

• 이웃 특징의 포함으로 네 모델 모두에서 탐지 성능이 크게 향상되었으며, 이는 이전에 시간적 시계열 데이터만을 사용한 방법보다 뛰어난 성능을 보였다.
• 랜덤 포레스트 분류기가 3% NTL 비율에서 최고의 AUC 점수 0.628를 기록했으며, 14개의 테스트 비율 중 7개에서 다른 모델보다 뛰어난 성능을 보였다.
• 모든 모델이 다양한 NTL 비율에서 안정적인 성능을 유지했으며, 평균 AUC 점수는 0.588에서 0.606 사이로 유지되어 데이터 불균형에 대한 강건성을 보였다.
• 랜덤 포레스트 모델은 평균 AUC가 0.5973로 가장 높았고, 다양한 NTL 비율에서 가장 일관된 성능을 보였지만, 표준편차도 가장 높아 0.0183였다.
• k-최근접 이웃 모델은 오직 한 번(3% NTL 비율일 때) 최고 성능을 기록했고, 로지스틱 회귀와 SVM은 각각 한 번과 네 번의 비율에서 최고 성능을 기록했다.
• 이웃 특징는 강력한 통계적 성질과 의미 있는 분포를 보였으며, 이는 NTL 탐지에 대한 예측 모델링에의 활용을 정당화한다.