[논문 리뷰] Domain Fusion Controllable Generalization for Cross-Domain Time Series Forecasting from Multi-Domain Integrated Distribution

Xiangkai Ma, Xiaobin Hong외 4명|arXiv (Cornell University)|2024. 12. 04.

Complex Systems and Time Series AnalysisEconomics, Econometrics and Finance인용 수 3

한 줄 요약

이 논문은 다중 도메인 간 융합된 확률 분포를 확산 노이즈 제거 과정을 통해 직접 모델링하는 통합 시계열 확산 모델인 UTSD를 제안한다. 이는 영역 간 전이 없이도 제로샷 교차 도메인 일반화를 가능하게 한다. 다중 스케일 컨텍스트 표현, 어댑터 기반 미세조정, 분류기 자유 가이던스를 활용함으로써 UTSD는 다양한 시계열 벤치마크에서 최신 기술 수준의 성능을 달성하며, 도메인 특화 적응 없이도 뛰어난 안정성, 정확도, 일반화 능력을 입증한다.

ABSTRACT

Conventional deep models have achieved unprecedented success in time series forecasting. However, facing the challenge of cross-domain generalization, existing studies utilize statistical prior as prompt engineering fails under the huge distribution shift among various domains. In this paper, a novel time series generalization diffusion model (TimeControl) that pioneers the Domain-Fusion paradigm, systematically integrating information from multiple time series domains into a unified generative process via diffusion models. Unlike the autoregressive models that capture the conditional probabilities of the prediction horizon to the historical sequence, we use the diffusion denoising process to model the mixed distribution of the cross-domain data and generate the prediction sequence for the target domain directly utilizing conditional sampling. The proposed TimeControl contains three pivotal designs: (1) The condition network captures the multi-scale fluctuation patterns from the observation sequence, which are utilized as context representations to guide the denoising network to generate the prediction sequence; (2) Adapter-based fine-tuning strategy, the multi-domain universal representation learned in the pretraining stage is utilized for downstream tasks in target domains; (3) A novel hybrid architecture is designed to align the observation and prediction spaces, enabling TimeControl to generate prediction sequences of arbitrary lengths with flexibility. We conduct extensive experiments on mainstream 49 benchmarks and 30 baselines, and the TimeControl outperforms existing baselines on all data domains, exhibiting superior zero-shot generalization ability.

연구 동기 및 목표

• 다른 데이터 도메인 간 큰 분포 이탈이 발생하는 상황에서 교차 도메인 시계열 예측 문제를 해결하기 위해.
• 사전 학습된 도메인에 관계없이 예측 가능한 제로샷 일반화가 가능한 통합 기초 모델을 개발하기 위해.
• 장기간 예측에서의 자기상관 모델의 한계와 도메인 특화 모델의 일반화 능력 부족 문제를 해결하기 위해.
• 확산 모델이 강력한 확률 분포 모델링 능력을 활용해 다중 도메인 데이터에서 다양하고 고품질의 예측을 직접 생성하기 위해.
• 개선된 분류기 자유 가이던스와 다중 스케일 컨텍스트 인코딩을 통해 안정적이고 정확한 조건부 샘플링을 가능하게 하기 위해.

제안 방법

• UTSD는 순차적 공간 내에서 교차 도메인 시계열 데이터의 혼합 분포를 직접 모델링하기 위해 확산 노이즈 제거 과정을 활용하며, 자기상관 예측을 회피한다.
• 조건 네트워크는 입력 시계열에서 다중 스케일 변동 패턴을 추출하여 노이즈 제거 과정을 안내하는 컨텍스트 표현으로 활용한다.
• 어댑터 기반 미세조정 전략을 통해 사전 학습된 통합 표현을 후행 타겟 도메인에 효율적으로 적응시킬 수 있으며, 전체 미세조정 없이도 가능하다.
• 조건부 샘플링 중에 향상된 분류기 자유 가이던스가 강화되어 적용되어 생성의 안정성과 정확도를 향상시킨다.
• 모델은 다중 도메인 데이터를 종합적으로 학습하여 통계적 성질이 상이한 도메인 간에 일반화 가능한 공통 표현을 학습한다.
• 조건부 샘플링은 실제 순차적 공간에서 직접 수행되어 고해상도, 다양한, 신뢰할 수 있는 시계열 생성이 가능하다.

실험 결과

연구 질문

• RQ1 통합 확산 모델이 다중 도메인 시계열 데이터의 융합된 확률 분포를 효과적으로 포착하고 생성할 수 있는가?
• RQ2 UTSD는 도메인 특화 모델이나 자기상관 모델에 비해 제로샷 교차 도메인 예측에서 어떤 성능을 보이는가?
• RQ3 다중 스케일 컨텍스트 표현은 다양한 도메인 간 일반화 및 예측 정확도 향상에 어느 정도 기여하는가?
• RQ4 제안된 확산 기반 접근 방식은 자기상관 모델 및 표준 확산 모델에서 흔히 발생하는 오차 누적 및 떨림 문제를 완화하는가?
• RQ5 어댑터 기반 미세조정은 새로운 타겟 도메인에 효율적으로 적응시키면서도 높은 성능를 유지할 수 있는가?

주요 결과

• UTSD는 모든 테스트 도메인에서 기존 기초 모델보다 제로샷 일반화 성능이 뛰어나, 교차 도메인에 대한 뛰어난 강건성을 입증한다.
• 초기 학습부터 시작하여도 UTSD는 도메인 특화 전용 모델과 유사한 성능을 달성하여 강력한 일반화 능력을 보여준다.
• t-SNE를 활용한 50회 반복 샘플의 시각화 결과로, UTSD는 매우 낮은 떨림 수준을 보이며 안정적이고 신뢰할 수 있는 시계열 생성 능력을 확보한다.
• 장기 다주기 시계열(예: ETT, ECL, Traffic에서 720단계)에서 최신 기술 수준의 성능를 기록하여 장기 의존성 포착 능력을 입증한다.
• 단기 비주기 시계열(예: 96단계)에서도 고품질의 예측 성능를 유지하여 다양한 시간 패턴에서 뛰어난 성능를 보인다.
• 시각화 결과로 예측된 신뢰구간(10–90% 및 25–75%)이 진짜 값들을 견고하게 둘러싸고 있음을 확인하여 정확한 불확실성 추정 능력을 입증한다.