[논문 리뷰] TILDE-Q: A Transformation Invariant Loss Function for Time-Series Forecasting

Hyunwook Lee, Chunggi Lee외 2명|arXiv (Cornell University)|2022. 10. 26.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

이 논문은 시간 시리즈 예측을 위한 새로운 변환 불변 손실 함수인 TILDE-Q를 제안한다. TILDE-Q는 진폭과 단위 이동에 대한 불변성을 확보함으로써 형태 인식 표현 학습을 향상시킨다. 다양한 왜곡 유형에 걸쳐 거리 균형을 통합함으로써 TILDE-Q는 단기 및 장기 예측 작업 전반에서 정확도를 향상시키며, N-BEATS와 Informer와 같은 최신 모델을 사용한 실세계 데이터셋에서 MSE, DTW, TDI 및 LCSS를 능가한다.

ABSTRACT

Time-series forecasting has gained increasing attention in the field of artificial intelligence due to its potential to address real-world problems across various domains, including energy, weather, traffic, and economy. While time-series forecasting is a well-researched field, predicting complex temporal patterns such as sudden changes in sequential data still poses a challenge with current models. This difficulty stems from minimizing Lp norm distances as loss functions, such as mean absolute error (MAE) or mean square error (MSE), which are susceptible to both intricate temporal dynamics modeling and signal shape capturing. Furthermore, these functions often cause models to behave aberrantly and generate uncorrelated results with the original time-series. Consequently, developing a shape-aware loss function that goes beyond mere point-wise comparison is essential. In this paper, we examine the definition of shape and distortions, which are crucial for shape-awareness in time-series forecasting, and provide a design rationale for the shape-aware loss function. Based on our design rationale, we propose a novel, compact loss function called TILDEQ (Transformation Invariant Loss function with Distance EQuilibrium) that considers not only amplitude and phase distortions but also allows models to capture the shape of time-series sequences. Furthermore, TILDE-Q supports the simultaneous modeling of periodic and nonperiodic temporal dynamics. We evaluate the efficacy of TILDE-Q by conducting extensive experiments under both periodic and nonperiodic conditions with various models ranging from naive to state-of-the-art. The experimental results show that the models trained with TILDE-Q surpass those trained with other metrics, such as MSE and DILATE, in various real-world applications, including electricity, traffic, illness, economics, weather, and electricity transformer temperature (ETT).

연구 동기 및 목표

• 표준 손실 함수인 MSE와 MAE가 시간 시리즈 데이터의 시간적 형태 역학을 포착하지 못하는 한계를 해결하기 위해.
• 일반적인 왜곡—진폭 이동, 단위 이동, 균일한 증폭—에 대해 불변이 되는 손실 함수를 설계하여 보다 나은 형태 인식 예측을 가능하게 하기 위해.
• 기존 예측 모델의 아키텍처 변경 없이도 시간 역학 모델링을 향상시킬 수 있는 모델에 종속되지 않는 손실 함수를 개발하기 위해.
• TILDE-Q를 통한 형태 인식 학습이 단기 및 장기 예측 작업 전반에서 더 정보가 풍부하고 정확하며 강건한 시간 시리즈 예측을 이끌어내는지 경험적으로 검증하기 위해.

제안 방법

• TILDE-Q는 세 가지 서로 다른 항을 포함하는 복합 손실 함수로 구성되며, 각 항은 특정 유형의 신호 왜곡—진폭 이동, 단위 이동, 균일한 증폭—에 대한 불변성을 목표로 한다.
• 손실 함수는 각 왜곡 불변 항의 기여를 균형 있게 유지함으로써 안정적이고 효과적인 최적화를 보장하는 거리 균형 메커니즘을 통합한다.
• 형태 유지 변환를 통해 역전파가 가능한 미분 가능 공식화를 활용함으로써 딥 러닝 모델과 함께 엔드 투 엔드 학습이 가능하다.
• 손실 함수는 예측 시퀀스와 진짜 시퀀스 사이의 변환 집합에 대해 불변이 되도록 설계되었으며, 단순한 값 기반 차이가 아니라, 전체적인 변환 불변성을 확보한다.
• TILDE-Q는 어떤 시퀀스에서 시퀀스로의 예측 모델과도 호환되어 모델에 종속되지 않으며, 기존 파ip라인에 쉽게 통합할 수 있다.
• 손실 함수는 표준 딥 러닝 학습 절차를 사용하여 최적화되며, 표준 학습률과 가중치 감쇠 이외의 추가 하이퍼파rameter가 필요하지 않다.

실험 결과

연구 질문

• RQ1 형태 유지 성질을 유지하면서도 진폭과 단위 이동 왜곡에 대해 불변인 손실 함수를 설계할 수 있는가?
• RQ2 TILDE-Q를 통한 형태 인식 학습은 MSE와 DTW와 같은 표준 지표에 비해 예측 정확도와 시간 역학 포착 능력에서 어떻게 비교되는가?
• RQ3 TILDE-Q는 다양한 실세계 데이터셋에서 단기 및 장기 예측 작업 전반에서 성능 향상을 이끌어내는가?
• RQ4 기본 손실 함수에 비해 TILDE-Q는 예측의 강건성과 정보성 측면에서 어느 정도 향상되는가?
• RQ5 N-BEATS와 Informer와 같은 최신 모델에 아키텍처 수정 없이 TILDE-Q를 효과적으로 적용할 수 있는가?

주요 결과

• ETT 데이터셋에서 TILDE-Q로 훈련된 모델는 MSE로 훈련된 N-BEATS 대비 LCSS 점수에서 10% 향상되어 형태 유지 능력이 뛰어나다는 것을 보여주었다.
• 장기 예측(L=720)에서 TILDE-Q는 모든 세 가지 실세계 데이터셋(ETTh2, ETTm2, ECL)에서 MSE와 DILATE를 모두 능가하였으며, MSE 평균 15-20% 향상, LCSS 평균 10% 향상되었다.
• ECG5000 데이터셋에서 DILATE는 노이즈에 매우 민감하여 성능이 열 劣하였지만, TILDE-Q는 노이즈 조건에서도 안정적인 성능을 유지하여 안정성의 우수성을 입증하였다.
• 단기 예측(L=96)에서 TILDE-Q는 ETTh2에서 가장 낮은 MSE(0.1494)와 ECL에서 가장 낮은 LCSS(0.6912)를 기록하여 모든 베이스라인을 능가하였다.
• 제거 실험 결과, TILDE-Q의 각 구성 요소가 불변성과 형태 인식에 기여하며, 전체 손실 함수가 모든 지표와 데이터셋에서 최고의 성능을 내는 것으로 확인되었다.