[논문 리뷰] Combining Embeddings and Fuzzy Time Series for High-Dimensional Time Series Forecasting in Internet of Energy Applications

Hugo Vinicius Bitencourt, Luiz Augusto Facury de Souza외 3명|arXiv (Cornell University)|2021. 12. 03.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

이 논문은 인터넷 오브 에너지(IoE) 응용 분야에서 고차원 시계열 예측을 향상시키기 위해 데이터 임bedding 기법(PCA, 오토에인코더, SOM)과 다변량 퍼지 시계열을 결합한 새로운 하이브리드 방법 γ FTS를 제안한다. 다변량 에너지 소비 데이터를 퍼지 시계열 모델링을 적용하기 전에 낮은 차원의 공간으로 투영함으로써, 높은 정확도를 달성하면서도 모델의 해석 가능성과 계산 효율성을 유지한다.

ABSTRACT

The prediction of residential power usage is essential in assisting a smart grid to manage and preserve energy to ensure efficient use. An accurate energy forecasting at the customer level will reflect directly into efficiency improvements across the power grid system, however forecasting building energy use is a complex task due to many influencing factors, such as meteorological and occupancy patterns. In addiction, high-dimensional time series increasingly arise in the Internet of Energy (IoE), given the emergence of multi-sensor environments and the two way communication between energy consumers and the smart grid. Therefore, methods that are capable of computing high-dimensional time series are of great value in smart building and IoE applications. Fuzzy Time Series (FTS) models stand out as data-driven non-parametric models of easy implementation and high accuracy. Unfortunately, the existing FTS models can be unfeasible if all features were used to train the model. We present a new methodology for handling high-dimensional time series, by projecting the original high-dimensional data into a low dimensional embedding space and using multivariate FTS approach in this low dimensional representation. Combining these techniques enables a better representation of the complex content of multivariate time series and more accurate forecasts.

연구 동기 및 목표

• 스마트 빌딩의 다중 센서 데이터를 포함한 인터넷 오브 에너지(IoE) 환경에서 고차원 다변량 시계열 예측의 과제를 해결한다.
• 복잡성과 공선성으로 인해 고차원 데이터에 적용할 경우 비현실적인 전통적인 퍼지 시계열 모델의 한계를 극복한다.
• 퍼지 시계열 모델링 이전에 임베딩 기법을 통한 차원 감소를 활용하여 주거용 에너지 소비의 예측 정확도를 향상시킨다.
• 자원 제약이 있는 IoE 디바이스에서의 엣지 배포에 필수적인 모델의 해석 가능성과 낮은 계산 비용을 확보한다.
• 실제 스마트 빌딩 에너지 예측에서 최신 기술 대비 제안된 γ FTS 프레임워크의 유효성을 입증한다.

제안 방법

• 고차원 다변량 시계열을 낮은 차원의 잠재 공간으로 투영하기 위해 주성분 분석(PCA), 오토에인코더(AE), 자기조직화 맵(SOM)의 세 가지 임베딩 기법을 사용하여 차원 감소를 적용한다.
• 감소된 차원의 표현을 다변량 퍼지 시계열(FTS) 모델의 입력으로 사용하여 변수 간 시간적 의존성과 퍼지 관계를 포착한다.
• 목표 변수(에너지 소비)에 대해 퍼지 집합을 정의하고, 임베딩 공간 내 상태 간 전이를 모델링하기 위해 퍼지 논리적 관계를 사용한다.
• 모델 성능을 최적화하기 위해 두 가지 핵심 하이퍼파라미터인 퍼지 집합의 수(규칙 복잡도 제어)와 임베딩 차원 K(정보 유지 수준 제어)를 조정한다.
• 역행 가능 임베딩 함수를 사용하여 퍼지 집합 출력을 원래 데이터 공간으로 다시 매핑함으로써 모델의 설명 가능성을 확보한다.
• 실제 스마트 빌딩 에너지 데이터셋을 대상으로 γ FTS 모델을 훈련하고 평가하여 지속성 모델, SARIMAX, PCA-SARIMAX, LSTM 기준 모델과의 성능를 비교한다.

실험 결과

연구 질문

• RQ1 임베딩 기반 차원 감소가 스마트 빌딩의 고차원 다변량 시계열에서 퍼지 시계열 예측 정확도를 향상시키는가?
• RQ2 PCA, AE, SOM과 같은 다양한 임베딩 기법이 에너지 소비 예측을 위한 예측 정보를 얼마나 잘 유지하는가?
• RQ3 제안된 γ FTS 프레임워크가 주거용 에너지 소비 예측에서 기존의 통계적 및 딥러닝 모델을 초월하는가?
• RQ4 퍼지 집합의 수와 임베딩 차원 K를 증가시킬수록 예측 정확도는 얼마나 향상되며, 동시에 모델의 해석 가능성은 유지되는가?
• RQ5 γ FTS 모델은 IoE 환경에서 엣지 디바이스에 배포하기에 적합한 높은 성능과 낮은 계산 비용을 유지를 할 수 있는가?

주요 결과

• γ FTS 모델은 스마트 빌딩 에너지 소비 데이터셋에서 지속성, SARIMAX, PCA-SARIMAX, LSTM 등 모든 평가 모델 중에서 가장 뛰어난 종합 예측 성능를 기록했다.
• 예측 정확도 측면에서 PCA 기반 임베딩이 AE와 SOM을 일관되게 뛰어넘었으며, 이는 에너지 데이터에서 관련 패턴을 포착하는 데 선형 투영이 더 효과적일 수 있음을 시사한다.
• 비록 비선형 임베딩이지만 SOM은 이산적이고 덜 연속적인 임베딩 공간으로 인해 가장 낮은 정확도를 보였지만, 더 높은 해석 가능성은 제공하였다.
• 퍼지 집합의 수와 임베딩 차원 K가 증가할수록 예측 오차가 감소함을 확인하여, 이러한 하이퍼파라미터를 조정함으로써 모델 정확도를 체계적으로 향상시킬 수 있음을 입증했다.
• γ FTS 프레임워크는 높은 모델 해석 가능성과 낮은 계산 복잡도를 유지하여 자원 제약이 있는 IoE 응용 분야에서 저전력 엣지 디바이스에 적합한 배포를 가능하게 한다.
• 이 방법은 다중공선성 문제를 효과적으로 완화하고 고차원 센서 특징 간 잠재적 상호작용을 포착하여 투명성 손실 없이도 예측 성능를 향상시켰다.