[論文レビュー] CoRA: Boosting Time Series Foundation Models for Multivariate Forecasting through Correlation-aware Adapter

Hanyin Cheng, Xingjian Wu+5 more|arXiv (Cornell University)|Mar 23, 2026

Time Series Analysis and Forecasting被引用数 0

ひとこと要約

CoRA は Time Series Foundation Models のための軽量なプラグイン式相関認識アダプターで、動的・異質・部分的なチャンネル相関を同時にモデル化して fine-tuning 中の多変量予測を改善します。

ABSTRACT

Most existing Time Series Foundation Models (TSFMs) use channel independent modeling and focus on capturing and generalizing temporal dependencies, while neglecting the correlations among channels or overlooking the different aspects of correlations. However, these correlations play a vital role in Multivariate time series forecasting. To address this, we propose a CoRrelation-aware Adapter (CoRA), a lightweight plug-and-play method that requires only fine-tuning with TSFMs and is able to capture different types of correlations, so as to improve forecast performance. Specifically, to reduce complexity, we innovatively decompose the correlation matrix into low-rank Time-Varying and Time-Invariant components. For the Time-Varying component, we further design learnable polynomials to learn dynamic correlations by capturing trends or periodic patterns. To learn positive and negative correlations that appear only among some channels, we introduce a novel dual contrastive learning method that identifies correlations through projection layers, regulated by a Heterogeneous-Partial contrastive loss during training, without introducing additional complexity in the inference stage. Extensive experiments on 10 real-world datasets demonstrate that CoRA can improve TSFMs in multivariate forecasting performance.

研究の動機と目的

• TSFM が見落としがちなチャンネル間相関を活用して多変量予測を改善することを動機づける。
• backbone を再訓練することなく TSFM で fine-tune 可能な軽量プラグインを提案する。
• 低推論計算量で動的・異質・部分の三つの相関タイプをモデル化する。
• 実世界データセットを横断して有効性を実証し、既存の相関プラグインと比較する。

提案手法

• 動的相関推定 (DCE) を導入し、低ランクの Q_t と時分不変の V の分解を介して時変相関を学習する。
• 学習可能な相関を M_t^corr = R + Q_t V Q_t^T と分解し、ルールベースの R と学習可能成分を組み合わせる。
• Time-aware ポリynomials を用いて共通基底 q と時変係数 C_t を用いて変化する動的相関をモデル化する。
• チャンネルを正の相関空間と負の相関空間に分割するチャンネル認識投影 (HD) を用いて異質相関 (HCorr) を捕捉する。
• 強く相関するチャンネルを整列させ、弱く相関するものを分離するための Heterogeneous Partial Correlation (H-PCorr) コントラスト学習を二重コントラスト損失に導いて適用する。
• 正・負の表現を融合し、元の TSFM 予測とゲート付き融合機構で統合して最終予測を得る。

Figure 1: (a) Illustration of three different types of correlations, the formal definitions are provided in Appendix A . (b) Comparisons of different plugins for learning correlations

実験結果

リサーチクエスチョン

• RQ1 CoRA は backbone を再訓練せずに既存の TSFM の多変量時系列予測性能を向上させることができるか。
• RQ2 相関を動的成分と不変成分に分解することの有効性と、時変多項式が DCorr のモデリングに与える影響はどれほどか。
• RQ3 HCorr および PCorr は特別な訓練信号を必要するのか、ファインチューニング時に対比学習が分離を導くことができるか。
• RQ4 データセットごとにチャンネル数が異なる場合の CoRA の推論時計算量と実用的な効率はどうか。

主な発見

• CoRA は十の実世界データセットにおいて、TSFM の多変量設定で予測性能を向上させる。
• 時変成分と時不変成分からなる DCorr 分解は、パラメータコストを抑えつつ加法分解と同等の表現力を達成する。
• Time-aware Polynomials は秩 K の可調整可能な動的相関モデル化手段を提供し、精度と効率のバランスを取る。
• 異質相関分割と H-PCorr コントラスト学習は、推論時の計算量を追加せずに HCorr と PCorr の適応的学習を可能にする。
• ファインチューニング時および推論時のオーバーヘッドが最小限に抑えられ、チャンネル数の増加に対して線形時間計算量を維持する。
• 他の相関プラグインとの比較評価は、TSFM 用に設計された CoRA が少数ショットのファインチューニングシナリオで優れた性能を示す。

Figure 2: The framework of CoRA. (a) CoRA begins by learning DCorr in Dynamic Correlation Estimation module. Heterogeneous Division module projects representations into positive and negative spaces for HCorr. Then CoRA conducts H-PCorr Contrastive Learning in each space to guide projection and captu