[论文解读] How Many Components should be Retained from a Multivariate Time Series PCA?

Alethea Rea, William Rea|arXiv (Cornell University)|Oct 12, 2016

Time Series Analysis and Forecasting参考文献 6被引用 24

一句话总结

本文提出了两种新颖的可视化技术——滑动窗口主成分分析系数热图与特征向量夹角追踪——以确定在多变量时间序列分析中应保留多少个主成分（PC）。这些方法揭示了随时间变化的结构变化与意义稳定性，表明在金融与气象数据中，仅第一或前两个主成分能保持一致且可解释的意义，尽管标准方法建议保留多达10–11个成分。

ABSTRACT

We report on the results of two new approaches to considering how many principal components to retain from an analysis of a multivariate time series. The first is by using a "heat map" based approach. A heat map in this context refers to a series of principal component coefficients created by applying a sliding window to a multivariate time series. Furthermore the heat maps can provide detailed insights into the evolution of the structure of each principal component over time. The second is by examining the change of the angle of the principal component over time within the high-dimensional data space. We provide evidence that both are useful in studying structure and evolution of a multivariate time series.

研究动机与目标

• 为解决在多变量时间序列PCA中确定应保留多少主成分这一关键挑战，特别是在标准‘经验法则’结果不一致时。
• 探究保留的主成分在整个样本期间是否保持一致的可解释性与结构意义。
• 开发并验证两种新的可视化技术——热图与特征向量夹角追踪——以评估主成分随时间的稳定性与结构特征。
• 提供一种框架，通过整合时间演化与可解释性，补充传统选择方法，优化主成分保留决策。

提出的方法

• 对多变量时间序列应用滑动窗口，以随时间计算主成分系数，实现对成分结构的动态分析。
• 从滑动窗口的PCA系数生成热图，以可视化成分载荷的演变，并检测结构模式或结构转变。
• 对每个成分内的变量进行排序，以增强可解释性，并在热图可视化中揭示一致的分组模式。
• 追踪连续特征向量之间的夹角，以检测高维空间中主导变异方向的变化。
• 将夹角变化作为不稳定的信号——较大的角度偏移表明数据底层结构或成分意义发生改变。
• 将这两种方法与标准PCA选择规则（如累积方差、碎石图、Kaiser准则）结合，以验证并优化主成分保留决策。

实验结果

研究问题

• RQ1 当标准选择规则产生冲突结果时，在多变量时间序列PCA中应保留多少个主成分？
• RQ2 主成分在整个样本期间是否保持一致的可解释性与结构意义？
• RQ3 滑动窗口PCA系数的热图能否揭示载荷随时间变化的有意义模式或结构变化？
• RQ4 连续特征向量之间的夹角是否随时间发生显著变化，表明主导变异源发生转变？
• RQ5 所提出的方法在多大程度上通过整合时间稳定性与可解释性，优于传统PCA主成分选择方法？

主要发现

• 在FTSE 250金融数据中，尽管标准方法建议保留高达109个成分（Kaiser准则）或10个成分（碎石图），但热图与夹角分析表明，仅第一或前两个成分保持稳定且可解释的结构。
• FTSE 250数据中的第一主成分始终表现出市场范围效应（结构A，系数较低），支持其被解释为广义市场因子。
• 金融数据中PC2之后的成分表现出日益不稳定的载荷变化与快速波动，表明其缺乏一致的金融意义，不应保留在解释中。
• 在澳大利亚日最高温度数据中，热图与夹角分析确认第一主成分代表整体天气状况（结构A，系数较高），而第2至第8个成分显示出可检测但变化多样的结构模式。
• 两个数据集的夹角变化分析表明，仅第一主成分在时间上表现出稳定的方向，而后续成分则显示出显著的角度偏移，表明其可解释性丧失。
• 热图与夹角追踪的结合，相较于仅使用标准方法，能提供更详细的主成分结构与时间演化洞察，尤其在识别主成分何时失去意义方面具有显著优势。