[논문 리뷰] On Metrics to Assess the Transferability of Machine Learning Models in Non-Intrusive Load Monitoring

Christoph Klemenjak, Anthony Faustine외 2명|arXiv (Cornell University)|2019. 12. 12.

Smart Grid Energy Management인용 수 12

한 줄 요약

이 논문은 비침습적 부하 모니터링(NILM)에서 기계학습 모델의 이식성(evaluation)을 평가하기 위해 도메인 특화의 네 가지 지표—일반화 비율(GR), 미사용 건물에서의 정확도(AUH), 미사용 건물에서의 오차(EUH), 평균 일반화 손실(MGL)—을 도입한다. 이 지표들은 미사용 건물에서의 모델 성능을 평가하여 과적합을 탐지하고 기존의 표준 지표들을 보완하며, 여러 데이터셋에서 최신 기술 5종과 기준 모델 4종에 대해 검증되었다.

ABSTRACT

To assess the performance of load disaggregation algorithms it is common practise to train a candidate algorithm on data from one or multiple households and subsequently apply cross-validation by evaluating the classification and energy estimation performance on unseen portions of the dataset derived from the same households. With an emerging discussion of transferability in Non-Intrusive Load Monitoring (NILM), there is a need for domain-specific metrics to assess the performance of NILM algorithms on new test scenarios being unseen buildings. In this paper, we discuss several metrics to assess the generalisation ability of NILM algorithms. These metrics target different aspects of performance evaluation in NILM and are meant to complement the traditional performance evaluation approach. We demonstrate how our metrics can be utilised to evaluate NILM algorithms by means of two case studies. We conduct our studies on several energy consumption datasets and take into consideration five state-of-the-art as well as four baseline NILM solutions. Finally, we formulate research challenges for future work.

연구 동기 및 목표

• 미사용 건물 간 NILM 모델의 이식성을 평가하기 위한 도메인 특화 지표의 부족을 해결한다.
• 이미 본 가정 외의 일반화 성능을 체계적으로 평가할 수 있는 평가 프레임워크를 제공한다.
• 미사용 테스트 시나리오에서의 성능을 정량화하여 연구자들이 과적합을 탐지할 수 있도록 한다.
• 기존 성능 지표를 이식성 인지 평가로 보완하여 재현 가능성과 모델 선택을 향상시킨다.
• NILM 일반화 및 이식 학습 분야의 향후 연구를 위한 열린 과제를 제시한다.

제안 방법

• 일반화 비율(GR)을 도입하여, 미사용 건물에서의 성능을 본 건물에서의 성능로 나눈 비율로 정의함으로써 상대적 이식성을 측정한다.
• 미사용 건물에서의 정확도(AUH)와 오차(EUH)를 도입하여 새로운 건물에서의 분류 및 회귀 성능을 정량화한다.
• 평균 일반화 손실(MGL)을 정의하여, 1대N 또는 1대1 이식 설정에서만 적용 가능한 미사용 건물의 평균 손실을 측정한다.
• 분류 및 회귀 작업을 모두 활용하여, 여러 데이터셋에서 최신 기술 5종과 기준 모델 4종에 대해 지표를 적용하고 평가한다.
• 사례 연구를 통해 실세계 평가 시나리오에서 지표의 유용성을 입증하며, 모델 비교 및 과적합 탐지에 활용한다.
• 재현 가능성을 보장하고 향후 연구자들이 쉽게 활용할 수 있도록 GitHub에 오픈소스 구현을 제공한다.

실험 결과

연구 질문

• RQ1 미사용 건물에서 테스트할 때 NILM 모델의 일반화 성능을 어떻게 정량적으로 평가할 수 있는가?
• RQ2 다른 가정이나 데이터셋 간 NILM 모델의 이식성을 가장 잘 반영하는 지표는 무엇인가?
• RQ3 기존의 성능 지표가 모델 일반화를 어떻게 반영하지 못하는가? 그리고 제안된 지표는 어떤 개선을 제공하는가?
• RQ4 제안된 지표가 특정 가정에서 훈련된 NILM 모델의 과적합을 어느 정도 탐지할 수 있는가?
• RQ5 1대N 및 M대N 설정을 포함한 다양한 NILM 평가 시나리오에서 이식성을 일관되게 평가하는 방법은 무엇인가?

주요 결과

• 일반화 비율(GR)은 모델을 미사용 건물로 이식할 때 성능 저하 정도를 효과적으로 반영하며, 낮은 값일수록 이식성은 열 劣하다.
• 미사용 건물에서의 정확도(AUH)와 오차(EUH)는 새로운 테스트 시나리오에서의 모델 성능을 직접적으로 해석 가능한 방식으로 측정하여, 알고리즘 간 비교를 가능하게 한다.
• 평균 일반화 손실(MGL)은 1대N 이식 시나리오에 대해 신뢰할 수 있는 지표이지만, M대N 훈련 설정에는 적응이 필요하다.
• 제안된 지표들은 특히 본 가정에서의 성능는 높지만, 미사용 건물에서의 성능은 열 劣한 경우 과적합을 성공적으로 탐지한다.
• 사례 연구를 통해 최신 기술 모델이 항상 잘 일반화되지는 않으며, 이식성 지표의 사용이 미사용 건물에서의 성능 급락을 드러낸다.
• 저자들은 GR과 AUH/EUH를 표준 NILM 평가 파이프라인에 통합할 것을 권고하여, 모델의 강건성과 재현 가능성을 향상시킨다.