[논문 리뷰] An Unsupervised Learning Method for Early Event Detection in Smart Grid with Big Data.

Xing He, Robert C. Qiu외 2명|arXiv (Cornell University)|2015. 01. 31.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 3

한 줄 요약

이 논문은 랜덤 행렬 이론(RMT)을 활용하여 고차원의 레이블이 없는 빅데이터를 분석함으로써 스마트그리드에서 초기 사고 탐지(EED)를 위한 비지도 학습 방법을 제안한다. 평균 스펙트럼 에너지 반경(MSR)을 계산하고 이를 3D 파wr맵으로 시각화함으로써, 시스템 모델이나 레이블이 없는 데이터에 의존하지 않고도 빠르고 객관적이며 강건한 EED가 가능해지며, 기존 방법에 비해 노이즈와 나쁜 데이터 등의 데이터 과제를 더 잘 다룬다.

ABSTRACT

Early Event Detection (EED) is becoming increasingly complicated in smart grids, due to the exploration of data with features of volume, velocity, variety, and veracity (i.e. 4Vs data). This paper develops a data-driven unsupervised learning method based on random matrix theory (RMT) to handle this challenge problem. Compared to model-based methods, datadriven ones conduct data analysis requiring no knowledge of the system model/topology based on assumptions or simplifications. On the other hand, compared to supervised learning methods, unsupervised ones extract analysis directly from the raw data without any label. The proposed method using to processing all the raw data rather than only the labeled ones, calculates the mean spectral energy radius (MSR) as high-dimensional statistic and visualize it to form 3D power-map for EED. This method is easier in logic, faster in speed, and more universal and objective. Moreover, it is veracious and robust to traditional EED challenges such as error accumulations, spurious correlations, incidental correlations, and even bad data existence in the core area. Case studies with both simulated data and realistic data validate the effectiveness and higher performance of the proposed method for EED execution in smart grids.

연구 동기 및 목표

• 빅데이터의 4V(용량, 속도, 다양성, 신뢰성)로 인해 증가하는 스마트그리드에서의 초기 사고 탐지(EED)의 복잡성에 대응한다.
• 시스템 토폴로지 지식이나 레이블이 필요한 모델 기반 및 지도 학습 방법의 한계를 극복한다.
• 가정이나 단순화 없이 원시 데이터에 직접 작용하는 데이터 기반의 비지도 접근법을 개발한다.
• 오차 누적, 허위 상관관계, 나쁜 데이터 등의 일반적인 EED 과제에 대한 강건성을 향상시킨다.
• 고차원 통계를 활용한 새로운 시각화 기법을 통해 보편적이고 객관적이며 효율적인 EED를 실현한다.

제안 방법

• 시스템 모델이 필요 없이 고차원 스마트그리드 데이터의 통계적 성질을 분석하기 위해 랜덤 행렬 이론(RMT)을 활용한다.
• 시스템 전반의 에너지 분포 패턴을 포착하기 위해 고차원 통계로서 평균 스펙트럼 에너지 반경(MSR)을 계산한다.
• MSR를 3D 파워맵으로 시각화하여 이면의 이상치 및 초기 사고를 직관적으로 탐지할 수 있도록 한다.
• 레이블이 있거나 사전에 선택된 부분집합에 의존하지 않고 모든 이용 가능한 원시 데이터를 처리함으로써 데이터 활용도와 객관성을 향상시킨다.
• 지식 기반 레이블에 의존하지 않고 데이터에서 직접 패턴을 추출하기 위해 비지도 학습을 활용한다.
• RMT 기반의 강건성 덕분에 나쁜 데이터나 우연의 상관관계와 같은 데이터 품질 문제에 대비한 내성적 저항력을 확보한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터나 시스템 토폴로지 지식에 의존하지 않고 스마트그리드에서의 초기 사고 탐지를 어떻게 달성할 수 있는가?
• RQ2 랜덤 행렬 이론이 고차원의 레이블이 없는 스마트그리드 데이터로부터 EED를 위한 의미 있는 패턴을 효과적으로 추출할 수 있는가?
• RQ3 제안된 MSR 기반 3D 파워맵 시각화 기법은 기존 방법에 비해 탐지 속도와 객관성에서 어떻게 향상되는가?
• RQ4 나쁜 데이터, 허위 상관관계, 오차 누적 등의 데이터 품질 문제에 대해 이 방법은 어느 정도 강건한가?
• RQ5 이 방법은 시뮬레이션된 데이터와 실제 스마트그리드 데이터 환경 모두에서 높은 성능을 유지할 수 있는가?

주요 결과

• 모델 기반 및 지도 학습 방법에 비해 더 빠른 처리 속도와 더 단순한 논리 구조를 달성한다.
• MSR 기반 3D 파워맵 시각화 기법은 사전 가정 없이 객관적이고 보편적인 초기 사고 탐지를 가능하게 한다.
• 오차 누적, 허위 상관관계, 우연의 상관관계 등 데이터의 문제에 대해 강건함을 입증한다.
• 핵심 데이터 스트림에 나쁜 데이터가 존재하더라도 여전히 효과적으로 기능하여 실제 적용 가능성 향상.
• 시뮬레이션 및 실제 데이터 사례 연구를 통해 이 방법이 EED 과제에서 더 높은 성능과 효과성을 보임을 확인한다.