[논문 리뷰] Amortized Predictability-aware Training Framework for Time Series Forecasting and Classification

Xu Zhang, Peng Wang외 2명|arXiv (Cornell University)|2026. 02. 18.

Time Series Analysis and Forecasting인용 수 0

한 줄 요약

APTF는 학습 중에 예측 불확실성이 낮은 시계열 샘플을 동적으로 식별하고 벌칙을 적용하며, Hierarchical Predictability-aware Loss와 amortization 모델을 사용하여 TSF와 TSC 성능을 개선합니다.

ABSTRACT

Time series data are prone to noise in various domains, and training samples may contain low-predictability patterns that deviate from the normal data distribution, leading to training instability or convergence to poor local minima. Therefore, mitigating the adverse effects of low-predictability samples is crucial for time series analysis tasks such as time series forecasting (TSF) and time series classification (TSC). While many deep learning models have achieved promising performance, few consider how to identify and penalize low-predictability samples to improve model performance from the training perspective. To fill this gap, we propose a general Amortized Predictability-aware Training Framework (APTF) for both TSF and TSC. APTF introduces two key designs that enable the model to focus on high-predictability samples while still learning appropriately from low-predictability ones: (i) a Hierarchical Predictability-aware Loss (HPL) that dynamically identifies low-predictability samples and progressively expands their loss penalty as training evolves, and (ii) an amortization model that mitigates predictability estimation errors caused by model bias, further enhancing HPL's effectiveness. The code is available at https://github.com/Meteor-Stars/APTF.

연구 동기 및 목표

• 시계열 데이터에서 낮은 예측가능 샘플에 대응해야 하는 필요성을 동기부여하여 학습 안정성과 일반화 성능을 향상시킨다.
• TSF와 TSC 작업 모두에 적용되는 일반 프레임워크(APTF)을 도입한다.
• 예측가능성에 따라 샘플을 동적으로 버킷화하고 손실을 스케일링하는 손실 구성(HPL)을 개발한다.
• 예측가능성 추정 편향을 줄이고 학습을 향상시키기 위해 amortization 모델을 도입한다.
• 여러 데이터셋과 기준 모델 전반에 걸친 실험적 향상을 입증한다.

제안 방법

• 손실 값을 기반으로 낮은 예측가능 버킷을 정의하고, 더 큰 손실 버킷에 점점 작아지는 가중치를 할당한다.
• 그레이디언트를 안정시키고 고- 및 저 예측가능 샘플 간 학습의 균형을 맞추기 위해 bucket 그룹과 함께 Hierarchical Predictability-aware Loss(HPL)를 도입한다.
• 예측가능성 추정 편향을 흡수하고 HPL을 향상시키기 위해 추정치를 한 단계 지연시켜 전달하는 amortization 모델을 구현한다.
• bucket를 단계적으로 축소하고 bucket 그룹 간 손실을 평균화하는 계층적 전략(Hierarchical strategy)을 통해 예측가능성의 변화를 반영한다.
• 다수의 baseline에 걸쳐 11개의 단기 TSF 데이터셋, 8개의 장기 TSF 데이터셋, 그리고 UCR의 128개 TSC 데이터셋에서 APTF를 평가한다.

실험 결과

연구 질문

• RQ1 예측가능성 인식 학습이 TSF 및 TSC 작업의 수렴 및 일반화 성능을 향상시킬 수 있는가?
• RQ2 잠재적으로 유용한 정보를 버리지 않으면서 낮은 예측가능 샘플을 어떻게 식별하고 벌칙을 줄 수 있는가?
• RQ3 amortization 모델이 예측가능성 추정의 편향을 줄이고 학습 안정성을 개선하는가?
• RQ4 다양한 baseline 모델과 결합했을 때 APTF의 다양한 TSF 및 TSC 벤치마크에서의 실험적 이득은 무엇인가?

주요 결과

• APTF는 단기 TSF에서 8개의 baseline 모델에 걸쳐 일관되게 정확도를 향상시키며, transformer 기반 모델은 평균 2.06%~9.79%, 선형 모델은 1.79%~5.79%의 향상을 보인다.
• 장기 TSF에서도 transformer 모델에서 평균 2.01%~13.14%, 선형 모델은 1.44%~5.75%의 평균 향상을 보인다.
• 128개의 UCR 데이터셋에 대한 TSC에서 APTF는 평균 정확도를 80.97%에서 81.93%로 올리고 baseline 대비 승리 수가 무승부보다 많음을 보인다.
• 연구 분해(ablation)에서 HPL만으로도 여러 baseline의 오차를 줄이고, amortization 모델은 baseline 전반에 걸쳐 예측 오차를 약 1.4%~2.1% 더 감소시킨다.
• APTF로 손실 지형이 더 평평해져 일반화 및 로버스트니스를 향상시킨다.