[论文解读] An autocovariance-based learning framework for high-dimensional functional time series

Jinyuan Chang, Cheng Chen+2 more|arXiv (Cornell University)|Aug 29, 2020

Statistical Methods and Inference参考文献 39被引用 9

一句话总结

本文提出了一种基于自协方差的高维函数时间序列学习框架，适用于高维、序列相关且存在测量误差的函数型数据。通过利用自协方差函数过滤噪声，该方法实现了基于自协方差的降维、块正则化最小距离估计以实现稀疏性，并在模拟和真实数据中均展现出优于现有方法的估计精度。

ABSTRACT

Many scientific and economic applications involve the statistical learning of high-dimensional functional time series, where the number of functional variables is comparable to, or even greater than, the number of serially dependent functional observations. In this paper, we model observed functional time series, which are subject to errors in the sense that each functional datum arises as the sum of two uncorrelated components, one dynamic and one white noise. Motivated from the fact that the autocovariance function of observed functional time series automatically filters out the noise term, we propose a three-step procedure by first performing autocovariance-based dimension reduction, then formulating a novel autocovariance-based block regularized minimum distance estimation framework to produce block sparse estimates, and based on which obtaining the final functional sparse estimates. We investigate theoretical properties of the proposed estimators, and illustrate the proposed estimation procedure via three sparse high-dimensional functional time series models. We demonstrate via both simulated and real datasets that our proposed estimators significantly outperform the competitors.

研究动机与目标

• 解决高维函数时间序列中变量数量与时间点数量相当或超过时间点数量时的统计学习挑战。
• 将观测到的函数时间序列建模为动态函数分量与独立同分布的测量误差（白噪声）之和，且两部分互不相关。
• 开发一种框架，利用自协方差函数天然过滤白噪声的能力，实现在高维设置下的稳健估计。
• 通过引入一种新颖的块正则化最小距离估计程序，在估计的函数系数中实现稀疏性。
• 在高维、函数型时间序列设置下，为所提出的估计器建立非渐近理论保证。

提出的方法

• 将观测到的函数时间序列建模为 $\mathbf{W}_t(\cdot) = \mathbf{X}_t(\cdot) + \mathbf{e}_t(\cdot)$，其中 $\mathbf{X}_t(\cdot)$ 为动态分量，$\mathbf{e}_t(\cdot)$ 为白噪声。
• 利用 $\mathbf{W}_t(\cdot)$ 的自协方差函数自动滤除白噪声分量，因为 $\mathbf{e}_t(\cdot)$ 在非零滞后下的自协方差为零。
• 通过自协方差算子的特征函数，将函数数据投影到有限维子空间，实现基于自协方差的降维。
• 构建一种块正则化最小距离估计程序以估计函数系数算子，促进函数变量间块状稀疏性。
• 应用类似组套索的惩罚项，以在函数系数块内鼓励稀疏性，提升可解释性与估计效率。
• 在存在测量误差的高维、函数型时间序列模型下，建立估计器的非渐近收敛速率。

实验结果

研究问题

• RQ1 能否利用噪声函数时间序列的自协方差函数，一致地估计潜在动态结构并同时滤除测量误差？
• RQ2 如何通过基于自协方差的投影，在高维函数时间序列中有效实现降维？
• RQ3 在存在测量误差的高维函数时间序列中，块正则化最小距离估计器的理论性能如何？
• RQ4 在有限样本下，所提出框架与现有方法相比，在估计精度和稀疏恢复方面表现如何？
• RQ5 在何种条件下，所提出方法能在高维函数时间序列中实现一致的变量选择与估计？

主要发现

• 所提出的基于自协方差的框架能够有效滤除白噪声分量，从而实现对潜在动态函数时间序列结构的一致估计。
• 块正则化最小距离估计器在高维设置下表现出一致性，且已为估计误差建立非渐近收敛速率。
• 该方法在有限样本中表现优异，在模拟数据和真实数据集（包括S&P 100股票收益密度曲线）中显著优于现有方法。
• 理论分析证实，该估计器在适当条件下可实现稀疏恢复，且块结构有助于提升变量选择的准确性。
• 在适当的正则性条件下，估计器的收敛速率阶为 $O_p(\sqrt{\log p / n})$，表明其具有良好的有限样本性能。
• 真实数据（如S&P 100股票收益密度）的实证结果证实，该方法能够有效恢复高维函数时间序列中的有意义且稀疏的结构。