[논문 리뷰] Sequence-to-point learning with neural networks for nonintrusive load monitoring

Chaoyun Zhang, Mingjun Zhong외 3명|arXiv (Cornell University)|2016. 12. 29.

Smart Grid Energy Management참고 문헌 20인용 수 131

한 줄 요약

소개하는 seq2point 학습은 CNN을 사용한 단일 채널 NILM에서 윈도우의 중점을 예측하여 분해를 개선; UK-DALE 및 REDD 데이터세트에서 학습된 가전 시그니처로 최첨단 MAE와 SAE 달성.

ABSTRACT

Energy disaggregation (a.k.a nonintrusive load monitoring, NILM), a single-channel blind source separation problem, aims to decompose the mains which records the whole house electricity consumption into appliance-wise readings. This problem is difficult because it is inherently unidentifiable. Recent approaches have shown that the identifiability problem could be reduced by introducing domain knowledge into the model. Deep neural networks have been shown to be a promising approach for these problems, but sliding windows are necessary to handle the long sequences which arise in signal processing problems, which raises issues about how to combine predictions from different sliding windows. In this paper, we propose sequence-to-point learning, where the input is a window of the mains and the output is a single point of the target appliance. We use convolutional neural networks to train the model. Interestingly, we systematically show that the convolutional neural networks can inherently learn the signatures of the target appliances, which are automatically added into the model to reduce the identifiability problem. We applied the proposed neural network approaches to real-world household energy data, and show that the methods achieve state-of-the-art performance, improving two standard error measures by 84% and 92%.

연구 동기 및 목표

• 에너지 분해(NILM)를 단일 채널 BSS 문제로 동기를 부여하고, 데이터로부터 학습된 도메인 정보를 활용하여 식별가능성(identifiability)을 해결한다.
• 엣지 효과를 피하고 예측 정확도를 향상시키기 위해 sequence-to-point 학습을 제안한다.
• CNN이 수작업 특징 없이 자동으로 가전 시그니처(변화점, 사용 기간, 전력 수준)를 학습할 수 있음을 보여준다.
• UK-DALE 및 REDD 데이터세트에서 경험적으로 검증하여 이전 방법에 비해 상당한 오차 감소를 달성한다.
• 예측의 기초를 이해하기 위해 CNN 특징 맵의 시각화를 통해 학습된 특징에 대한 해석을 제공한다.

제안 방법

• seq2seq를 sequence-to-point로 대체하여 입력 전원 창 Y_t:t+W-1에서 중간값 x_tau를 예측한다.
• 직접 비교를 가능하게 하기 위해 seq2seq와 seq2point에 동일한 CNN 아키텍처를 사용한다.
• 시퀀스를 패딩하고 윈도우를 슬라이드하여 학습 샘플을 생성하고, 중간값 출력의 로그-가능도(log-likelihood)를 최소화하도록 학습한다.
• seq2seq와 seq2point를 사후 밀도 추정기로 간주하고, seq2point가 목표 분포에 더 촘촘한 근사치를 제공함을 보여준다(정리 1).
• 관련 중간값 예측에 학습 용량을 집중시키고 엣지 관련 예측 문제를 줄인다는 것을 분석적·경험적으로 정당화한다.
• UK-DALE 및 REDD 데이터세트에서 AFHMM 및 seq2seq 기초선과 비교 평가한다.

실험 결과

연구 질문

• RQ1 단일 채널 분해에서 sequence-to-point 학습이 sequence-to-sequence 접근법보다 NILM 정확도를 향상시키는가?
• RQ2 CNN이 원시 전원 데이터에서 가전별 시그니처(변화점, 사용 기간, 전력 수준)를 자동으로 학습할 수 있는가?
• RQ3 가구 간 및 데이터셋 간 전이 학습 설정에서 seq2point의 성능은 어떠한가? (UK-DALE 및 REDD)
• RQ4 일반 NILM 가전에서 seq2point를 사용할 때 MAE 및 SAE의 정량적 향상은 어느 정도인가?
• RQ5 학습된 특징이 해석 가능하고 알려진 가전 사용 패턴과 일치하는가?

주요 결과

방법	Kettle MAE	Microwave MAE	Fridge MAE	Dish Washer MAE	Washing Machine MAE	전체 MAE
AFHMM	47.38	21.18	42.35	199.84	103.24	82.79 ± 64.50
seq2seq(Kelly)	13.00	14.559	38.451	237.96	163.468	93.488 ± 91.112
seq2seq(this paper)	9.220	13.619	24.489	32.515	10.153	17.999 ± 9.063
seq2point(this paper)	7.439	8.661	20.894	27.704	12.663	15.472 ± 7.718

• Seq2point는 UK-DALE에서 seq2seq 및 이전 기초선보다 현저히 낮은 오차를 달성했으며, 전체 MAE 15.472 및 SAE 0.321(대비 seq2seq 17.999 MAE 및 0.423 SAE).
• UK-DALE에서 seq2point는 seq2seq(Kelly)에 대해 MAE 약 84%, SAE 약 92% 향상을 보인다.
• REDD에서 seq2point는 전체 MAE 23.693 및 SAE 0.270를 달성하여 seq2seq(MAE 26.552, SAE 0.355)를 능가했다.
• UK-DALE의 가전별로 seq2point는 Kettle, Microwave, Fridge, Dish Washer, Washing Machine의 MAE를 seq2seq(Kelly) 및 seq2seq(this paper)에 비해 감소시킨다.
• CNN 특징 맵의 시각화는 변화점, 일반적인 사용 기간, 전력 수준 등의 학습된 가전 시그니처를 보여주며, 이는 수작업으로 설계된 NILM 특징과 일치하되 자동으로 학습된다.
• 이론적 분석(정리 1)은 동일 아키텍처를 사용할 때 중간값에 대한 목표 사후 분포에 seq2point가 seq2seq보다 더 촘촘한 근사를 제공함을 증명한다.