[논문 리뷰] CoRA: Boosting Time Series Foundation Models for Multivariate Forecasting through Correlation-aware Adapter
CoRA는 다변량 예측을 파인튜닝 중 향상시키기 위해 시간에 따라 동적으로, 이질적으로, 부분적으로 상관관계를 모델링하는 Time Series Foundation Models용 가볍고 플러그앤플레이식 상관관계 인식 어댑터입니다.
Most existing Time Series Foundation Models (TSFMs) use channel independent modeling and focus on capturing and generalizing temporal dependencies, while neglecting the correlations among channels or overlooking the different aspects of correlations. However, these correlations play a vital role in Multivariate time series forecasting. To address this, we propose a CoRrelation-aware Adapter (CoRA), a lightweight plug-and-play method that requires only fine-tuning with TSFMs and is able to capture different types of correlations, so as to improve forecast performance. Specifically, to reduce complexity, we innovatively decompose the correlation matrix into low-rank Time-Varying and Time-Invariant components. For the Time-Varying component, we further design learnable polynomials to learn dynamic correlations by capturing trends or periodic patterns. To learn positive and negative correlations that appear only among some channels, we introduce a novel dual contrastive learning method that identifies correlations through projection layers, regulated by a Heterogeneous-Partial contrastive loss during training, without introducing additional complexity in the inference stage. Extensive experiments on 10 real-world datasets demonstrate that CoRA can improve TSFMs in multivariate forecasting performance.
연구 동기 및 목표
- TSFM이 종종 간과하는 채널 간 상관관계를 활용하여 다변량 예측 성능을 향상시키려는 동기를 제시합니다.
- 백본 재학습 없이 TSFM과 함께 파인튜닝할 수 있는 경량 플러그인을 제안합니다.
- 추론 복잡도는 낮은 상태로 세 가지 상관 유형(동적, 이질적, 부분적)을 모델링합니다.
- 현실 세계 데이터셋에서 효율성을 입증하고 기존 상관 플러그인과 비교합니다.
제안 방법
- 저랭크 Q_t와 Time-Invariant V 분해를 통해 시계열 상관을 학습하는 Dynamic Correlation Estimation(DCE)을 도입합니다.
- 학습 가능한 상관을 M_t^corr = R + Q_t V Q_t^T로 분해하여 규칙 기반의 R과 학습 가능한 구성요소를 결합합니다.
- 공유 기저 q와 시간에 따라 변화하는 계수 C_t를 갖는 Time-aware Polynomials를 사용하여 진화하는 동적 상관을 모델링합니다.
- 채널 인식 프로젝션(HD)을 통해 양의 상관 공간과 음의 상관 공간으로 채널을 나누어 이질적 상관(HCorr)을 포착합니다.
- 강하게 상관된 채널을 정렬하고 약하게 상관된 채널을 분리하기 위해 이질적 부분 상관(H-PCorr) 대조 학습을 적용하고, 이중 대조 손실에 의해 유도됩니다.
- 양의 표현과 음의 표현을 융합하고 게이트 융합 메커니즘을 통해 원래 TSFM 예측과 결합하여 최종 예측을 얻습니다.

실험 결과
연구 질문
- RQ1백본 재학습 없이 채널 간 상관관계를 활용하여 CoRA가 예측 성능을 개선할 수 있는가?
- RQ2상관의 동적 부분과 불변 부분으로의 분해가 얼마나 효과적이며, DCorr 모델링에 대한 Time-aware Polynomials의 영향은 무엇인가?
- RQ3HCorr와 PCorr가 특수한 학습 신호를 필요로 하는가, 그리고 대조 학습이 파인튜닝 중 이들의 분리를 안내할 수 있는가?
- RQ4다양한 채널 수를 가진 데이터셋에서 CoRA의 추론 시간 복잡도와 실제 효율성은 어떠한가?
주요 결과
- CoRA는 다변량 설정에서 열 개의 실제 데이터셋에 대해 TSFM의 예측 성능을 향상시킵니다.
- 제안된 DCorr 분해는 시간-변동 및 시간-불변 구성요소를 사용하여 파라미터 비용이 더 낮은 가법 분해와 유사한 표현력을 달성합니다.
- Time-aware Polynomials는 조정 가능한 차수 K를 가진 동적 상관을 모델링하는 메커니즘을 제공하여 정확도와 효율성의 균형을 맞춥니다.
- 이질적 상관 분할과 H-PCorr 대조 학습은 추론 시간 복잡도 증가 없이 HCorr 및 PCorr의 적응 학습을 가능하게 합니다.
- 효율성 분석은 파인튜닝과 추론 중에 CoRA가 최소한의 오버헤드를 더하며 채널 수에 대해 선형 시간 복잡도를 유지함을 보여줍니다.
- 다른 상관 플러그인과의 비교 평가에서 TSFM에 맞춰 설계된 CoRA가 적은 샷 파인튜닝 시나리오에서 우수한 성능을 보임을 시사합니다.

이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.