[論文レビュー] From Similarity to Superiority: Channel Clustering for Time Series Forecasting

Jialin Chen, Jan Eric Lenssen+6 more|arXiv (Cornell University)|Mar 31, 2024

Time Series Analysis and Forecasting被引用数 6

ひとこと要約

CCM は内在的な類似性に基づいてチャネルをクラスタリングし、Channel-Independent と Channel-Dependent の予測をバランスさせ、精度を向上させ、ゼロショット予測を可能にし、解釈性を高めます。

ABSTRACT

Time series forecasting has attracted significant attention in recent decades. Previous studies have demonstrated that the Channel-Independent (CI) strategy improves forecasting performance by treating different channels individually, while it leads to poor generalization on unseen instances and ignores potentially necessary interactions between channels. Conversely, the Channel-Dependent (CD) strategy mixes all channels with even irrelevant and indiscriminate information, which, however, results in oversmoothing issues and limits forecasting accuracy. There is a lack of channel strategy that effectively balances individual channel treatment for improved forecasting performance without overlooking essential interactions between channels. Motivated by our observation of a correlation between the time series model's performance boost against channel mixing and the intrinsic similarity on a pair of channels, we developed a novel and adaptable Channel Clustering Module (CCM). CCM dynamically groups channels characterized by intrinsic similarities and leverages cluster information instead of individual channel identities, combining the best of CD and CI worlds. Extensive experiments on real-world datasets demonstrate that CCM can (1) boost the performance of CI and CD models by an average margin of 2.4% and 7.2% on long-term and short-term forecasting, respectively; (2) enable zero-shot forecasting with mainstream time series forecasting models; (3) uncover intrinsic time series patterns among channels and improve interpretability of complex time series models.

研究の動機と目的

• チャネルごとの情報を保持しつつ、クロスチャネル相互作用を捉えるバランスの取れたチャネル戦略の必要性を動機づける。
• Channel Clustering Module (CCM) を導入し、チャネルをクラスタリングし、クラスタレベルのパラメータをチャネル識別子の代替として使用する。
• CCM が CI および CD の一連のベースモデルを複数の長期・短期予測ベンチマークで改善することを示す。
• CCM がゼロショット予測を可能にし、内在的なチャネル間パターンを明らかにして解釈性を高めることを示す。

提案手法

• K 個のクラスタ埋め込みを初期化し、各チャネルを d 次元埋め込みへ変換する。
• チャネル埋め込みとクラスタ埋め込みの正規化された内積を用いてクラスタリング確率 p_{i,k} を計算する。
• クラスタリングマスクを用いたクロスアテンション機構を使い、各クラスタのプロトタイプ埋め込みを生成する。
• クラスタ内のチャネルを整列させ、異なるクラスタを分離させるよう ClusterLoss を定義し、予測損失と組み合わせる。
• 各クラスタが独自の単純な線形層を持つ、クラスタ対応の Feed Forward を適用する; チャネル出力を p_{i,k} で加重和して集約する。
• 時間系列サンプルをクラスタリングして単変量適応に CCM を拡張し、プロトタイプを固定してクラスタ埋め込みを再利用することでゼロショット予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 チャネルの類似性を活用してチャネル識別子をクラスタ識別子に置換しても容量を犠牲にせずに実現できるか？
• RQ2 チャネルクラスタリングはさまざまな実世界の時系列ベンチマークでCIとCDの両方のモデルを改善するか？
• RQ3 CCM は未知のチャネルやサンプルでゼロショット予測を可能にしつつ精度を維持できるか？

主な発見

• CCM はベンチマーク全体で CI と CD モデルを平均で 2.4%（長期）および 7.2%（短期）のマージンで向上させる。
• CCM は未見のサンプルで単変量および多変量の両方のシナリオでゼロショット予測を可能にする。
• CCM は9つの実世界データセットおよび株式データで予測性能を向上させ、堅牢性とドメイン横断適用性を強調する。
• 最近の正則化アプローチ（PRReg）と比較して、CCM はほとんどのケースで長期予測の改善が上回る。
• CCM はチャネル間の内在的な時系列パターンを明らかにすることで解釈性を高める。