[論文レビュー] The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting

Lu Han, Han-Jia Ye+1 more|arXiv (Cornell University)|Apr 11, 2023

Forecasting Techniques and Applications被引用数 11

ひとこと要約

本論文は Channel Independent (CI) training が多変量時系列予測において Channel Dependent (CD) をしばしば上回ることを示し、capacity-robustness のトレードオフを分析し、CD を改善するための Predict Residuals with Regularization (PRReg) を提案する。

ABSTRACT

Multivariate time series data comprises various channels of variables. The multivariate forecasting models need to capture the relationship between the channels to accurately predict future values. However, recently, there has been an emergence of methods that employ the Channel Independent (CI) strategy. These methods view multivariate time series data as separate univariate time series and disregard the correlation between channels. Surprisingly, our empirical results have shown that models trained with the CI strategy outperform those trained with the Channel Dependent (CD) strategy, usually by a significant margin. Nevertheless, the reasons behind this phenomenon have not yet been thoroughly explored in the literature. This paper provides comprehensive empirical and theoretical analyses of the characteristics of multivariate time series datasets and the CI/CD strategy. Our results conclude that the CD approach has higher capacity but often lacks robustness to accurately predict distributionally drifted time series. In contrast, the CI approach trades capacity for robust prediction. Practical measures inspired by these analyses are proposed to address the capacity and robustness dilemma, including a modified CD method called Predict Residuals with Regularization (PRReg) that can surpass the CI strategy. We hope our findings can raise awareness among researchers about the characteristics of multivariate time series and inspire the construction of better forecasting models.

研究の動機と目的

• CI (多変量系列を独立した単変量系列として扱う) が CD (すべてのチャンネルを一緒に使用) を上回る理由が、多様なデータセットとモデルにおいて説明されるのかを調査する。
• 多変量時系列予測における CI と CD 戦略の capacity vs robustness のトレードオフを特徴づける。
• CD ベースのモデルを改善する新しい目的関数（PRReg）を含む、予測性能を高める実用的な戦略を提供する。

提案手法

• 多変量時系列予測のための CD および CI のトレーニング戦略を公式化する。
• 非深層モデルと深層モデルを用いて、9 個の実世界データセットを横断して広範な実証的比較を実施する。
• 自己相関関数（ACF）による分布ドリフトとそれがCDおよびCIに与える影響を分析する。
• 線形自己回帰（AR）視点とYule-Walker方程式による理論的接続を提供する。
• CD の非ロバスト性に対処するための Predict Residuals with Regularization (PRReg) を提案する。

実験結果

リサーチクエスチョン

• RQ1 Channel Independent (CI) 戦略は、多様なデータセットとモデルにわたって一貫して Channel Dependent (CD) を上回るのか。
• RQ2 分布ドリフトの下で特に、CI の経験的優位性を capacity および robustness の観点から何が説明するのか。
• RQ3 CD ベースのモデルを改善し、CI を凌ぐ可能性を高めるために、トレーニング目的関数をどう修正できるか。
• RQ4 CD/CI の性能に影響を与える実践的要因は何か、そしてそれらを活用してより良い予測モデルを設計するにはどうすればよいか。

主な発見

• CI は大半の実験で CD を上回り、しばしば大幅な差を生む。CI は複雑なモデルで平均約 20% 以上の改善をもたらす。
• CI は誤差を低くするだけでなく、性能のばらつきも減少させ、CD よりもより堅牢で一貫した結果を示す。
• CD は高い容量を持つが分布ドリフトに対する堅牢性が低く、CI は容量が低めだが堅牢性が高い。
• 著者らは、経験的にも線形設定で理論的にも、CI がチャネル間の平均 ACF に依存することを示しており、個々のチャネル ACF より drift が少なく、CI の堅牢性に寄与する。
• 新しい目的関数、Predict Residuals with Regularization (PRReg) は多くのケースで CI を上回ることができ、CD の非ロバスト性に対処する。
• 本研究は、公平な比較とさらなる改善のために、トレーニング戦略をアルゴリズム設計から切り離すことを示唆している。