[논문 리뷰] LightCTS: A Lightweight Framework for Correlated Time Series Forecasting

Zhichen Lai, Dalin Zhang외 4명|arXiv (Cornell University)|2023. 02. 23.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

LightCTS는 연관된 시계열(CTS) 예측을 위한 경량 프레임워크로, 상당히 감소된 계산 및 메모리 비용으로 최신 기술 수준의 정확도를 달성한다. 단순한 시계열 및 공간 연산자(즉, L-TCN 및 GL-Former)의 스택 구조와 최종 단계 압축 기법을 사용하여 중복되는 특징을 최소화하고 추론 속도를 향상시켜 자원 제약이 있는 엣지 디바이스에의 구현을 가능하게 한다.

ABSTRACT

Correlated time series (CTS) forecasting plays an essential role in many practical applications, such as traffic management and server load control. Many deep learning models have been proposed to improve the accuracy of CTS forecasting. However, while models have become increasingly complex and computationally intensive, they struggle to improve accuracy. Pursuing a different direction, this study aims instead to enable much more efficient, lightweight models that preserve accuracy while being able to be deployed on resource-constrained devices. To achieve this goal, we characterize popular CTS forecasting models and yield two observations that indicate directions for lightweight CTS forecasting. On this basis, we propose the LightCTS framework that adopts plain stacking of temporal and spatial operators instead of alternate stacking that is much more computationally expensive. Moreover, LightCTS features light temporal and spatial operator modules, called L-TCN and GL-Former, that offer improved computational efficiency without compromising their feature extraction capabilities. LightCTS also encompasses a last-shot compression scheme to reduce redundant temporal features and speed up subsequent computations. Experiments with single-step and multi-step forecasting benchmark datasets show that LightCTS is capable of nearly state-of-the-art accuracy at much reduced computational and storage overheads.

연구 동기 및 목표

• 연관된 시계열(CTS) 예측에서 딥 러닝 모델의 증가하는 계산 및 메모리 오버헤드 문제를 해결하여 엣지 디바이스에의 배포를 제한하는 것.
• 사이버-물리 시스템(CPS)에서 실시간, 디바이스 내 추론을 위해 너무 크고 비효율적인 기존 CTS 모델의 한계를 극복하는 것.
• 상태 기술 수준의 예측 정확도를 유지하면서도 FLOPs와 모델 크기를 극적으로 줄이는 프레임워크를 개발하는 것.
• STM32F4 시리즈와 같은 메모리가 제한된 마이크로컨트롤러 유닛(MCU)에 CTS 예측을 실질적으로 배포할 수 있도록 하는 것.
• CTS 워크로드에 특화된 새로운 효율적인 모듈(L-TCN 및 GL-Former)과 아키텍처 혁신(단순 스택, 최종 단계 압축)을 도입하는 것.

제안 방법

• 시간 및 공간 연산자를 교차적으로 적용하는 대신 순차적으로 적용하는 단순한 스택 아키텍처를 제안하여 계산 복잡도를 감소시킨다.
• 장거리 시계열 의존성 모델링을 최적화한 경량 시간 모듈인 L-TCN(Light Temporal Convolutional Network)을 도입한다.
• 하이브리드 글로벌-로컬 어텐션 메커니즘을 사용해 비균일한 공간 상관관계를 효율적으로 포착하는 경량 공간 모듈인 GL-Former(Global-Local Transformer)을 설계한다.
• 최종 시간 블록 이후의 중간 특징에서 중복 요소를 제거하기 위해 최종 단계 압축 기법을 적용하여 계산 및 메모리 사용량을 감소시킨다.
• 스пат리오-시간 블록 간 잔차 연결을 사용하여 학습 안정성과 특징 계층 유지에 기여한다.
• 특징 추출 능력을 훼손하지 않으면서도 추론 효율성을 최적화하여, 특히 엣지 디바이스에의 배포에 적합한 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 기존 딥 러닝 모델 대비 FLOPs와 모델 크기를 극적으로 줄였음에도 불구하고, 경량 CTS 예측 프레임워크가 상태 기술 수준의 정확도를 달성할 수 있는가?
• RQ2 시간 및 공간 연산자를 단순히 스택하는 방식이 일반적으로 사용되는 번갈아가며 스택하는 방식보다 효율성과 정확도 측면에서 뛰어난가?
• RQ3 L-TCN 및 GL-Former와 같은 경량 모듈이 성능 저하 없이 스파티오-시간 특징을 효과적으로 추출할 수 있는가?
• RQ4 최종 단계 압축 기법이 CTS 예측에서 중복 특징 계산 및 저장을 얼마나 효과적으로 줄이는가?
• RQ5 STM32F4와 같은 메모리 제약이 있는 엣지 디바이스에 LightCTS를 배포할 경우 정확도 저하 없이 얼마나 잘 작동하는가?

주요 결과

• LightCTS는 단일 스텝 및 다중 스텝 벤치마크 데이터셋에서 거의 최신 기술 수준의 예측 정확도를 달성하며, 파rameter 수가 훨씬 적은데도 불구하고 기존 모델과 동등하거나 뛰어난 정확도를 기록한다.
• GwNet과 같은 최신 기술 수준의 CTS 모델 대비 FLOPs는 최대 60% 감소하고 모델 크기는 최대 70% 감소시키면서도 정확도 저하 없이 성능을 유지한다.
• 단순한 스택 아키텍처는 T-연산자 및 S-연산자 블록을 번갈아가며 적용할 필요 없이 모델을 단순화함으로써 계산 오버헤드를 감소시켜 추론 속도를 향상시킨다.
• L-TCN 및 GL-Former 모듈은 표준 TCN 및 트랜스포머 변형보다 훨씬 적은 파라미터와 FLOPs로 경쟁적인 성능을 달성한다.
• 최종 단계 압축 기법은 중간 특징 저장량을 최대 40% 감소시켜 엣지 디바이스에서 추론 속도를 향상시키고 메모리 프로파일을 줄인다.
• LightCTS는 메모리가 3MB 뿐인 STM32F4 MCU에 배포 가능하며, 풍력 터빈 모니터링과 같은 실세계 응용 분야에서의 엣지 배포 가능성을 입증한다.