[논문 리뷰] Sequence-to-Sequence Load Disaggregation Using Multi-Scale Residual Neural Network

Gan Zhou, Zhi Li외 4명|arXiv (Cornell University)|2020. 09. 25.

Smart Grid Energy Management참고 문헌 34인용 수 6

한 줄 요약

이 논문은 비침습적 부하 모니터링(NILM)에서 시퀀스 간 부하 분해를 위해 확장된 컨볼루션을 사용하는 다중 척도 잔차 신경망을 제안한다. 잔차 학습, 큰 수신장 영역을 위한 확장된 컨볼루션, 다중 척도 특징 추출을 활용함으로써, UK-DALE 데이터셋에서 다양한 가전기기의 F1 점수는 높이고 MAE는 낮추며, 실시간 배포에 적합한 모델 복잡도를 감소시켰다.

ABSTRACT

With the increased demand on economy and efficiency of measurement technology, Non-Intrusive Load Monitoring (NILM) has received more and more attention as a cost-effective way to monitor electricity and provide feedback to users. Deep neural networks has been shown a great potential in the field of load disaggregation. In this paper, firstly, a new convolutional model based on residual blocks is proposed to avoid the degradation problem which traditional networks more or less suffer from when network layers are increased in order to learn more complex features. Secondly, we propose dilated convolution to curtail the excessive quantity of model parameters and obtain bigger receptive field, and multi-scale structure to learn mixed data features in a more targeted way. Thirdly, we give details about generating training and test set under certain rules. Finally, the algorithm is tested on real-house public dataset, UK-DALE, with three existing neural networks. The results are compared and analysed, the proposed model shows improvements on F1 score, MAE as well as model complexity across different appliances.

연구 동기 및 목표

• 부하 분해에 사용되는 깊은 신경망의 성능 저하 문제를 해결하기 위해 잔차 학습 프레임워크를 도입한다.
• 파rameter 수를 늘리지 않고도 수신장 영역을 확장하고 모델 파라미터를 감소시키기 위해 확장된 컨볼루션을 활용한다.
• 다양한 전력 서명 패턴을 포착하기 위해 다중 척도 아키텍처를 통해 혼합된 가전기기 유형에 대한 특징 학습을 향상시킨다.
• 정의된 규칙에 기반해 실제 주거 환경의 부하 조건을 시뮬레이션하는 현실적인 학습 및 테스트 세트를 생성한다.
• F1 점수, MAE, 모델 복잡도에 중점을 두고, UK-DALE 데이터셋에서 기존의 딥러닝 모델들과 비교하여 제안된 모델의 성능을 평가한다.

제안 방법

• 깊은 아키텍처의 훈련 중 기울기 소실과 성능 저하 문제를 완화하기 위해 잔차 신경망 블록을 설계한다.
• 파rameter 수를 늘리지 않고도 수신장 영역을 기하급수적으로 확장하기 위해 확장된 컨볼루션을 적용한다.
• 다양한 확장률을 가진 다중 척도 아키텍처를 도입하여 국소적이고 전역적인 시간 패턴을 모두 포착한다.
• 여러 잔차 블록 간에 잔차 연결을 적용하여 훈련을 안정화하고 기울기 흐름을 향상시킨다.
• 모델이 집합 전력에서 가전기기 수준의 전력 소비를 예측하는 시퀀스 간 프레임워크를 적용한다.
• 예측 결과를 현실적인 전력 수준으로 제한하기 위해 출력층에 시그모이드 활성화 함수를 사용하고, 평균 절대 오차(MAE)를 손실 함수로 적용한다.

실험 결과

연구 질문

• RQ1 기존의 CNN과 RNN과 비교해, 확장된 컨볼루션을 사용하는 깊은 잔차 네트워크가 부하 분해 성능을 향상시킬 수 있는가?
• RQ2 다중 척도 아키텍처가 복잡하거나 변동성이 큰 전력 서명을 가진 가전기기의 특징 표현을 향상시키는가?
• RQ3 제안된 모델은 정확도를 유지하거나 향상시키면서도 모델 복잡도를 어느 정도 감소시킬 수 있는가?
• RQ4 고전력 변동성이 큰 가전기기(예: 전자레인지)와 단순 온오프 장치(예: 티포트)에 대해 모델의 성능은 어떻게 되는가?
• RQ5 컨볼루션 계층의 병렬 처리 특성 덕분에 RNN 기반 모델보다 더 빠른 추론 시간을 달성할 수 있는가?

주요 결과

• 제안된 다중 척도 잔차 네트워크는 기존의 CNN, BiLSTM, 노이즈 제거 오토에인코더 모델과 비교해 다섯 가지 가전기기(kettle, microwave, fridge, dishwasher, washing machine) 모두에서 가장 높은 F1 점수를 기록했다.
• 냉장고(F1: 71.388 W)와 세탁기(F1: 217.517 W)에서 가장 낮은 평균 절대 오차(MAE)를 기록하여 저전력 가전기기 예측의 높은 정확도를 입증했다.
• 티포트의 경우 높은 F1 점수(0.948)를 기록했지만, MAE가 상대적으로 높았는데(289.044 W), 이는 높은 전력 수준과 시그모이드 활성화 함수가 작은 오차를 확대하기 때문으로 분석된다.
• 시험된 모든 모델 중에서 가장 적은 파라미터 수(623)를 기록하여 자원 제약이 있는 엣지 디바이스에의 배포에 적합하다.
• 컨볼루션 계층의 병렬 처리 능력 덕분에 BiLSTM보다 빠른 추론 시간을 확보했으며, 비록 FLOPs는 얕은 CNN보다는 높았지만 성능은 뛰어났다.
• 확장된 컨볼루션을 통해 큰 효과적 수신장 영역을 확보하여 맥락 인식 능력을 향상시켰고, 전자레인지나 싱크대 세척기처럼 복잡한 가전기기에서 뛰어난 성능을 발휘했다.