[논문 리뷰] Electricity Theft Detection with self-attention

Paulo Finardi, Israel Campiotti외 5명|arXiv (Cornell University)|2020. 02. 14.

Electricity Theft Detection Techniques참고 문헌 25인용 수 23

한 줄 요약

이 논문은 중국국가그리드사의 균형이 깨진 실생활 일일 소비 데이터에서 전력도난을 탐지하기 위해 다중 헤드 자기주의, 확장된 컨볼루션, 이진 입력 마스크를 조합한 하이브리드 딥러닝 모델을 제안한다. 주어진 데이터에서 결측치를 효과적으로 처리하고 주의 메커니즘과 분위수 정규화를 통해 장거리 시간적 의존성을 포착함으로써 AUC가 0.926에 도달하였으며, 이는 이전 연구 대비 17% 향상된 성능이다.

ABSTRACT

In this work we propose a novel self-attention mechanism model to address electricity theft detection on an imbalanced realistic dataset that presents a daily electricity consumption provided by State Grid Corporation of China. Our key contribution is the introduction of a multi-head self-attention mechanism concatenated with dilated convolutions and unified by a convolution of kernel size $1$. Moreover, we introduce a binary input channel (Binary Mask) to identify the position of the missing values, allowing the network to learn how to deal with these values. Our model achieves an AUC of $0.926$ which is an improvement in more than $17\%$ with respect to previous baseline work. The code is available on GitHub at https://github.com/neuralmind-ai/electricity-theft-detection-with-self-attention.

연구 동기 및 목표

• 균형이 깨진 실생활 전력 소비 데이터에서 높은 결측치 비율을 가진 환경에서 전력도난 탐지를 해결하기 위해.
• AUC, F1 스코어, 학습 효율성 측면에서 최신 기준 모델을 향상시키기 위해.
• 결측치를 복원하지 않고도 모델이 결측치 처리 방식을 학습할 수 있도록 하는 이진 입력 채널(이진 마스크)을 도입하기 위해.
• 자기주의 메커니즘을 활용하여 일일 소비 시계열에서 장거리 시간적 의존성을 포착하기 위해.
• 분위수 정규화와 2차원 데이터 재구성의 효과를 검증하여 모델 일반화 능력을 향상시키기 위해.

제안 방법

• 모델은 다중 헤드 자기주의, 확장된 컨볼루션, 1x1 컨볼루션 융합 레이어를 조합한 하이브리드 아키텍처를 사용하여 서로 다른 브랜치에서 유도된 특징을 통합한다.
• 결측치 위치를 인코딩하기 위해 이진 입력 채널(이진 마스크)을 도입하여, 데이터 갭이 존재하는 상황에서도 견고한 표현을 학습할 수 있도록 한다.
• 입력 시계열을 2차원 형식으로 재구성하여 2차원 컨볼루션 신경망을 활용해 국소적 및 전반적인 공간적 상관관계를 포착할 수 있도록 한다.
• 원본 데이터에 분위수 정규화를 적용하여 분포 이탈을 줄이고 모델 일반화 능력을 향상시킨다.
• 클래스 불균형 문제를 해결하기 위해 클래스 가중치를 적용한 교차 엔트로피 손실을 사용하고, 과적합을 방지하기 위해 조기 정지 기법을 적용한다.
• F1 스코어 기준 최적의 임계값으로 0.27을 도출하였으며, 혼동 행렬 비교를 위해 0.50을 사용하였다.

실험 결과

연구 질문

• RQ1 기존의 CNN 및 하이브리드 모델 대비 자기주의 메커니즘이 전력도난 탐지에서 AUC와 F1 스코어를 향상시키는가?
• RQ2 높은 결측치 비율을 가진 데이터셋에서 이진 마스크 입력 채널의 포함 여부가 모델 성능에 어떤 영향을 미치는가?
• RQ3 분위수 정규화가 균형이 깨진 실생활 전력 소비 데이터에서 모델 일반화 능력을 어느 정도 향상시키는가?
• RQ4 자기주의와 확장된 컨볼루션의 하이브리드 아키텍처가 표준 CNN 대비 수렴 속도 및 탐지 정확도 측면에서 뛰어나다고 할 수 있는가?
• RQ5 클래스 불균형 상황에서 정밀도와 재현율을 균형 있게 유지하기 위한 최적의 결정 임계값은 무엇인가?

주요 결과

• 제안된 확장된 컨볼루션과 함께 다중 헤드 자기주의를 적용한 하이브리드 모델은 AUC가 0.926에 도달하였으며, 이는 이전 최신 기준 모델 대비 17% 향상된 성능이다.
• 학습 분할 비율 80%에서 F1 스코어가 0.606을 기록하였으며, 최고의 베이스라인 대비 10포인트 향상되었으며, 이는 이진 마스크의 기여도가 크다고 판단된다.
• 기존의 베이스라인 CNN 대비 약 20 에포크 내에 수렴하여 학습 시간을 약 75% 감소시켰다.
• Tesla V100 GPU에서 추론 시간은 37초였으며, 파라미터 수는 5100만 개에 불과하여 실시간 구현에 매우 효율적임을 시사한다.
• F1 스코어 최적의 임계값은 0.27로 도출되었으며, 0.50 임계값은 혼동 행렬에서 정밀도와 재현율 사이의 트레이드오프를 보였다.
• 분위수 정규화, 이진 마스크, 자기주의 메커니즘의 조합은 모든 학습 분할에서 AUC, F1, MAP@100에 지속적인 향상을 이끌었다.