[논문 리뷰] Transfer Learning for Non-Intrusive Load Monitoring

Michele D'Incecco, Stefano Squartini외 1명|arXiv (Cornell University)|2019. 02. 23.

Smart Grid Energy Management참고 문헌 42인용 수 17

한 줄 요약

이 논문은 순서에서 한 점으로의(sequence-to-point, seq2point) 딥러닝을 사용한 비침습적 부하 모니터링(NILM)의 성능을 향상시키기 위해 전이학습 전략—기기 간 전이학습(ATL)과 도메인 간 전이학습(CTL)—을 제안한다. 복잡한 기기인 세탁기에서 사전 훈련된 합성곱 신경망(CNN) 특징을 간단한 기기인 전기밥솥으로 전이할 수 있음을 보여주며, 한 데이터 도메인(예: REFIT)에서 훈련된 seq2point 모델이 다른 도메인(예: UK-DALE, REDD)으로 일반화 가능함을 입증한다. 이는 미세조정 여부에 관계없이 가능하며, 훈련 비용을 크게 감소시키고 확장 가능한, 통합된 NILM 시스템을 가능하게 한다.

ABSTRACT

Non-intrusive load monitoring (NILM) is a technique to recover source appliances from only the recorded mains in a household. NILM is unidentifiable and thus a challenge problem because the inferred power value of an appliance given only the mains could not be unique. To mitigate the unidentifiable problem, various methods incorporating domain knowledge into NILM have been proposed and shown effective experimentally. Recently, among these methods, deep neural networks are shown performing best. Arguably, the recently proposed sequence-to-point (seq2point) learning is promising for NILM. However, the results were only carried out on the same data domain. It is not clear if the method could be generalised or transferred to different domains, e.g., the test data were drawn from a different country comparing to the training data. We address this issue in the paper, and two transfer learning schemes are proposed, i.e., appliance transfer learning (ATL) and cross-domain transfer learning (CTL). For ATL, our results show that the latent features learnt by a `complex' appliance, e.g., washing machine, can be transferred to a `simple' appliance, e.g., kettle. For CTL, our conclusion is that the seq2point learning is transferable. Precisely, when the training and test data are in a similar domain, seq2point learning can be directly applied to the test data without fine tuning; when the training and test data are in different domains, seq2point learning needs fine tuning before applying to the test data. Interestingly, we show that only the fully connected layers need fine tuning for transfer learning. Source code can be found at https://github.com/MingjunZhong/transferNILM.

연구 동기 및 목표

• 다양한 기기와 데이터 도메인 간에 비침습적 부하 모니터링(NILM) 모델을 일반화하는 데 도전하는 것.
• 이전에 동일한 도메인 내에서만 테스트된 순서에서 한 점으로의(seq2point) 학습이, 새로운 기기 또는 다른 지리적 데이터 도메인으로도 전이 가능한지 조사하는 것.
• 라벨이 붙은 데이터와 계산 비용에 대한 의존도를 줄이는 전이학습 전략—기기 간 전이학습(ATL)과 도메인 간 전이학습(CTL)—을 개발하는 것.
• 합성곱 신경망(CNN) 특징이 기기 간 및 도메인 간에 불변함을 가정하고, 이로 인해 전이 가능성이 있음을 검증하는 것.

제안 방법

• 복잡한 기기(예: 세탁기)에서 사전 훈련된 CNN 레이어를 동결하고, 다른 더 단순한 기기(예: 전기밥솥)에서만 완전히 연결된 레이어만 미세조정하는 기기 간 전이학습(ATL)을 제안한다.
• 한 데이터셋(예: REFIT)에서 훈련된 모델을 다른 데이터셋(예: UK-DALE 또는 REDD)에 적용하는 도메인 간 전이학습(CTL)을 도입하며, 완전히 연결된 레이어의 미세조정 여부에 관계없이 적용한다.
• 메인 전력 시퀀스에서 잠재적 특징을 추출하기 위해 CNN 기반의 순서에서 한 점으로의 딥러닝 아키텍처를 사용하고, 기기별 분류를 위해 밀집 레이어를 사용한다.
• 과적합과 미세조정 시 계산 비용을 줄이기 위해 조기 정지와 특징 고정을 포함한 전이학습을 활용한다.
• REFIT에서 훈련하고 UK-DALE 및 REDD 데이터셋에서 테스트하여 전이 가능성 평가를 수행하며, 미세조정 여부에 따른 성능 비교를 수행한다.
• 다양한 기기와 도메인에서 평균 절대 오차(MAE) 및 에너지 분리 정확도와 같은 정량적 지표를 사용해 전이학습의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 한 기기에서 학습된 합성곱 신경망(CNN) 특징이, 예를 들어 세탁기에서부터 전기밥솥으로 같은 기기에서 학습된 특징을 효과적으로 전이할 수 있는가?
• RQ2 seq2point 학습은 UK-DALE 또는 REFIT에서부터 REDD로 같은 도메인 간에 전이 가능한가?
• RQ3 다른 도메인으로 전이할 경우, 완전히 연결된 레이어만 미세조정하면 모델 성능 향상이 이루어지며, 이는 언제 필요한가?
• RQ4 유사하거나 다른 도메인에서, 도메인 간 NILM에서 미세조정이 성능 향상에 기여하는 조건은 무엇인가?
• RQ5 전이학습은 높은 분리 정확도를 유지하면서도, NILM에서 광범위한 라벨이 붙은 데이터와 계산 자원의 필요성을 줄일 수 있는가?

주요 결과

• 기기 간 전이학습(ATL)은 복잡한 기기(예: 세탁기)에서 유래한 특징을 더 단순한 기기(예: 전기밥솥)로 효과적으로 전이하여, 최소한의 재훈련으로도 높은 분리 정확도를 달성한다.
• 도메인 간 전이학습(CTL)은 seq2point 모델이 도메인 간 일반화 가능함을 보여주며, 훈련 도메인과 테스트 도메인이 유사할 경우 미세조정이 필요 없지만, 도메인이 다를 경우 미세조정이 성능 향상에 크게 기여함을 확인한다.
• 완전히 연결된 레이어만 미세조정하는 것이 효과적인 전이학습을 위해 충분하며, 기기 간 및 도메인 간에 불변하는 CNN 특징을 유지한다.
• REFIT에서 훈련된 모델은 UK-DALE 및 REDD 데이터셋으로 일반화가 잘 되며, 전이학습을 사용할 경우 평균 절대 오차(MAE) 값이 각각 26.422와 26.778로 나타난다.
• 전이학습은 계산 비용과 라벨이 붙은 데이터에 대한 의존도를 줄이며, 다양한 기기와 지리적 지역에 걸쳐 단일 통합 NILM 모델의 확장 가능한 구현을 가능하게 한다.
• 결과는 CNN가 학습한 특징이 기기 간 및 도메인 간에 불변함을 지지하며, 통합된 오라클 유사 NILM 시스템의 강력한 기반을 제공한다.