[论文解读] Inferring the conditional mean

Gusztáv Morvai, Benjamin Weiss|ArXiv.org|Oct 19, 2007

Time Series Analysis and Forecasting参考文献 13被引用 10

一句话总结

该论文提出了一种非参数算法，通过仅在特殊选择的停时 $ \lambda_n $ 处采样估计值，对平稳时间序列的条件期望 $ E(X_{n+1} \mid X_0, \dots, X_n) $ 实现几乎必然一致的估计。关键结果是，即使不假设连续性，该估计量 $ m_n $ 也能在这些停时处几乎必然收敛到真实的条件期望；在条件期望几乎必然连续时，可进一步收敛到完整的条件期望。

ABSTRACT

Consider a stationary real-valued time series $\{X_n\}_{n=0}^{\infty}$ with a priori unknown distribution. The goal is to estimate the conditional expectation $E(X_{n+1}|X_0,..., X_n)$ based on the observations $(X_0,..., X_n)$ in a pointwise consistent way. It is well known that this is not possible at all values of $n$. We will estimate it along stopping times.

研究动机与目标

• 解决在所有 $ n $ 处对平稳过程的条件期望 $ E(X_{n+1} \mid X_0, \dots, X_n) $ 实现普遍一致点估计的不可能性。
• 克服现有算法在所有 $ n $ 处均失效的局限性，尤其是在非参数设定下。
• 通过将估计限制在一系列停时 $ \lambda_n $ 上，提出一种一致估计策略，确保无限多次估计被执行。
• 建立估计量收敛到真实条件期望 $ E(X_{\lambda_n+1} \mid X_0^{\lambda_n}) $ 的条件，特别是当条件期望几乎必然连续时。

提出的方法

• 递归地将停时 $ \lambda_n $ 定义为在 $ \lambda_{n-1} $ 之后首次出现块 $ X_{\lambda_{n-1}+1}^{\lambda_{n-1}+t} $ 与初始块 $ X_0^t $ 匹配的时间，以确保模式的重复性。
• 使用二进制量化 $[x]^k$ 将实值观测值离散化为长度为 $ 2^{-k} $ 的区间，形成 $ \mathbb{R} $ 上的嵌套划分 $ \mathcal{P}_k $。
• 构造估计量 $ m_n = \frac{1}{n} \sum_{j=0}^{n-1} f_j([X_{\lambda_j+1}]^j) $，其中 $ f_j $ 将每个量化区间映射到其内部的一个点。
• 将极限过程 $ \tilde{X}^{0}_{-\infty} $ 定义为当 $ j \to \infty $ 时 $ X_{\lambda_j - n} $ 的极限，以捕捉渐近过去行为。
• 在单边序列上使用度量 $ d^* $ 来定义条件期望 $ e(x^{0}_{-\infty}) = E(X_1 \mid X^{0}_{-\infty} = x^{0}_{-\infty}) $ 的几乎必然连续性。
• 证明 $ m_n $ 几乎必然收敛到 $ e(\tilde{X}^{0}_{-\infty}) $，且在连续性条件下收敛到 $ E(X_{\lambda_n+1} \mid X_0^{\lambda_n}) $。

实验结果

研究问题

• RQ1 是否可以设计一种普遍的非参数估计器，对平稳时间序列中所有 $ n $ 的条件期望 $ E(X_{n+1} \mid X_0, \dots, X_n) $ 实现一致估计？
• RQ2 若将估计限制在一系列停时而非所有 $ n $ 上，是否可以实现条件期望估计的几乎必然一致？
• RQ3 在何种条件下，估计量 $ m_n $ 收敛到真实条件期望 $ E(X_{\lambda_n+1} \mid X_0^{\lambda_n}) $？
• RQ4 条件期望的几乎必然连续性在确保估计量收敛中的作用是什么？

主要发现

• 估计量 $ m_n $ 几乎必然收敛到 $ e(\tilde{X}^{0}_{-\infty}) = E(X_1 \mid X^{0}_{-\infty}) $，即给定无限过去时的条件期望。
• 当 $ n \to \infty $ 时，差值 $ |m_n - E(X_{\lambda_n+1} \mid [X_0^{\lambda_n}]^n)| \to 0 $ 几乎必然成立，表明量化估计的一致性。
• 若条件期望 $ E(X_1 \mid X^{0}_{-\infty}) $ 关于度量 $ d^* $ 几乎必然连续，则 $ |m_n - E(X_{\lambda_n+1} \mid X_0^{\lambda_n})| \to 0 $ 几乎必然成立。
• 对于 $ X_0 $ 的边缘分布中具有有限或可数个原子的随机过程，估计量 $ m_n $ 几乎必然收敛到 $ E(X_{\lambda_n+1} \mid X_0^{\lambda_n}) $，无需额外假设连续性。
• 存在一个取值于 $[0,1]$ 的可数子集上的平稳遍历马氏链，使得 $ \limsup_{n \to \infty} |m_n - E(X_{\lambda_n+1} \mid X_0^{\lambda_n})| > 0 $ 以正概率成立，表明连续性条件的必要性。
• 事件 $ \{X_{\lambda_n} \in A_n \setminus \{0\}\} $ 以正概率无限次发生，支持在所构造条件下估计量的几乎必然收敛。