[논문 리뷰] Unlocking the Value of Text: Event-Driven Reasoning and Multi-Level Alignment for Time Series Forecasting
VoT는 이벤트 기반 추론과 다중 수준 정렬을 통해 외생 텍스트와 내생 텍스트를 사용하여 시계열 예측을 향상시키고, 10개의 실제 데이터셋에서 최첨단 결과를 달성합니다.
Existing time series forecasting methods primarily rely on the numerical data itself. However, real-world time series exhibit complex patterns associated with multimodal information, making them difficult to predict with numerical data alone. While several multimodal time series forecasting methods have emerged, they either utilize text with limited supplementary information or focus merely on representation extraction, extracting minimal textual information for forecasting. To unlock the Value of Text, we propose VoT, a method with Event-driven Reasoning and Multi-level Alignment. Event-driven Reasoning combines the rich information in exogenous text with the powerful reasoning capabilities of LLMs for time series forecasting. To guide the LLMs in effective reasoning, we propose the Historical In-context Learning that retrieves and applies historical examples as in-context guidance. To maximize the utilization of text, we propose Multi-level Alignment. At the representation level, we utilize the Endogenous Text Alignment to integrate the endogenous text information with the time series. At the prediction level, we design the Adaptive Frequency Fusion to fuse the frequency components of event-driven prediction and numerical prediction to achieve complementary advantages. Experiments on real-world datasets across 10 domains demonstrate significant improvements over existing methods, validating the effectiveness of our approach in the utilization of text. The code is made available at https://github.com/decisionintelligence/VoT.
연구 동기 및 목표
- 시계열의 이벤트 기반 다이내믹스를 다루기 위해 텍스트 정보를 도입할 필요성을 동기화한다.
- 시간 시계열 데이터와 외생 텍스트 및 내생 텍스트를 융합하는 이중 분기 VoT 아키텍처를 제안한다.
- Forecasting에서 LLM을 안내하기 위한 히스토리컬 인 컨텍스트 러닝(HIC)으로 이벤트 기반 추론을 개발한다.
- 교차 모달 통합을 극대화하기 위한 표현 수준 및 예측 수준의 정렬을 도입한다.
- 다양한 도메인에서 최첨단 성능을 입증하고 소거 분석을 제공한다.
제안 방법
- Forecasting을 위한 외생 텍스트와 내생 텍스트를 통합하는 이중 분기 아키텍처.
- 템플릿 생성, 요약 및 Reasoner를 갖춘 이벤트 기반 추론 파이프라인으로, 히스토리컬 인 컨텍스트 러닝(HIC)에 의해 강화된다.
- 패턴 분해 추출 및 분해된 대조 학습을 통해 텍스트 표현과 시계열 패턴을 맞추는 내생 텍스트 정렬(ETA).
- 학습된 주파수 의존 가중치를 통해 이벤트 기반 예측과 수치 예측의 주파수 성분을 융합하는 Adaptive Frequency Fusion(AFF).
- 시간 시계열 감독, 교차 모달 정렬 및 최종 융합 손실을 결합한 합성 학습 목표.
- 데이터셋 전체에 대한 소거 분석 및 외생 대 내생 텍스트의 영향 분석.
실험 결과
연구 질문
- RQ1외생 텍스트와 내생 텍스트를 효과적으로 활용하여 시계열 예측을 향상시킬 수 있는 방법은 무엇인가?
- RQ2교차 모달 정렬 및 추론을 가장 잘 가능하게 하는 메커니즘(HIC, ETA, AFF)은 무엇인가?
- RQ3외생 텍스트의 이벤트 기반 설명이 다양한 도메인에서 측정 가능한 이점을 제공하는가?
- RQ4다중 수준의 정렬이 텍스트나 시계열만 사용할 때보다 성능에 어떤 영향을 미치는가?
주요 결과
| Category | Model | MSE | MAE |
|---|---|---|---|
| Agriculture | VoT | 0.209 | 0.302 |
| Climate | VoT | 1.078 | 0.840 |
| Economy | VoT | 0.201 | 0.353 |
| Energy | VoT | 0.222 | 0.343 |
| Environment | VoT | 0.268 | 0.380 |
| Health | VoT | 1.205 | 0.714 |
| Security | VoT | 70.117 | 3.937 |
| Social Good | VoT | 0.804 | 0.389 |
| Traffic | VoT | 0.169 | 0.232 |
| Weather | VoT | 0.968 | 0.706 |
- VoT는 거의 모든 데이터셋에서 최상의 성능을 달성하며, 시계열 전용 및 텍스트 보강 기준선 대비 20개 지표 중에서 1위를 차지하고, 다중 모달 기준선 대비 20개 지표 중 19개에서 우수한 성능을 보였습니다.
- 히스토리컬 인 컨텍스트 러닝(HIC)을 갖춘 외생 텍스트 주도 이벤트 추론은 상당한 이점을 제공하며, ETA 또는 HIC를 제거하면 성능이 감소하는 소거 분석이 이를 증명합니다.
- 내생 텍스트 정렬(ETA)은 추세와 계절 성분을 분해하고 이를 텍스트 표현과 정렬하여 표현 수준의 교차 모달 정렬을 개선합니다.
- 주파수 기반 적응 융합(AFF)은 이벤트 기반 예측과 수치 예측의 주파수 성분을 동적으로 융합하여 고정 융합 기준선을 능가합니다.
- 외생 텍스트의 기여는 무작위 또는 내생 텍스트 기반 대체물보다 우수하여 이벤트 기반 예측에 실제 외생 정보의 가치를 보여줍니다.
- MM-TSFLib 및 Weather 데이터셋을 포함한 10개 실제 도메인에서의 광범위한 실험은 광범위한 효과성과 강건성을 입증합니다.
더 나은 연구,지금 바로 시작하세요
연구 설계부터 논문 작성까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.