[论文解读] Forecasting for stationary binary time series

Gusztáv Morvai, Benjamin Weiss|ArXiv.org|Oct 26, 2007

Time Series Analysis and Forecasting参考文献 12被引用 3

一句话总结

本文提出了一种适用于平稳遍历二元时间序列的通用预测程序，该程序在精心选择的停止时间点预测下一个结果的概率，确保几乎必然一致。该方法利用过去块的重复时间，保证预测收敛到真实的条件概率，且停止时间的增长速率最多为熵率的指数级，从而在最小假设下解决了长期存在的通用预测难题。

ABSTRACT

The forecasting problem for a stationary and ergodic binary time series $\{X_n\}_{n=0}^{\infty}$ is to estimate the probability that $X_{n+1}=1$ based on the observations $X_i$, $0\le i\le n$ without prior knowledge of the distribution of the process $\{X_n\}$. It is known that this is not possible if one estimates at all values of $n$. We present a simple procedure which will attempt to make such a prediction infinitely often at carefully selected stopping times chosen by the algorithm. We show that the proposed procedure is consistent under certain conditions, and we estimate the growth rate of the stopping times.

研究动机与目标

• 解决通用统计中的基本预测问题：在不了解底层过程分布的前提下，估计 P(X_{n+1}=1 | X_0,...,X_n)。
• 通过仅在选定的停止时间点进行预测（而非在每个 n 点）来克服 Bailey 的负面结果。
• 为所有具有几乎必然连续条件概率的平稳遍历二元时间序列构建一个一致的预测方案。
• 建立停止时间增长速率的显式界，以过程的熵率为参数。

提出的方法

• 该算法基于递增长度 k 的过去块的重复时间来选择停止时间 λ_n，以确保过程会重新访问典型的历史模式。
• 在每个停止时间 λ_k，预测值 f_k 被计算为在历史信息 X_0,...,X_{λ_k} 下，X_{λ_k+1}=1 的经验频率。
• 停止时间 ζ_k 定义为在 k 之后首次出现块 (X_0, ..., X_{k-1}) 于过去序列中的时间点，且基于熵率 H 设定阈值。
• 该方法依赖 Shannon-McMillan-Breiman 定理，以确保典型块被频繁访问，并利用 Borel-Cantelli 引理控制尾部概率。
• 该构造确保预测误差 |f_k - P(X_{λ_k+1}=1 | X_0,...,X_{λ_k})| 几乎必然收敛到零。
• 停止时间的增长速率满足 λ_k ≤ 2^{k(H+ε)} 几乎必然，对任意 ε>0 成立，其中 H 为熵率。

实验结果

研究问题

• RQ1 能否构建一个通用预测方案，使其对所有具有几乎必然连续条件概率的平稳遍历二元时间序列都是一致的？
• RQ2 当预测仅在选定的停止时间点进行时，是否能够实现预测值几乎必然收敛到真实条件概率？
• RQ3 在保证通用预测一致性的前提下，停止时间的最优增长速率是什么？
• RQ4 过程的熵率如何约束此类预测方案中停止时间的最小增长速率？

主要发现

• 所提出的预测方案对所有具有几乎必然连续条件概率的平稳遍历二元时间序列均实现了几乎必然一致性。
• 停止时间 ζ_k 几乎必然满足 ζ_k < 2^{k(H+ε)}，对任意 ε>0 成立，其中 H 为过程的熵率。
• 随着 k 增大，预测误差 |f_k - P(X_{λ_k+1}=1 | X_0,...,X_{λ_k})| 几乎必然收敛到零。
• 停止时间的增长速率被熵率的指数函数所界定，该结果在重复时间统计的意义下是最优的。
• 该方法避免了早期方案中指数塔状的增长，提供了更实用且现实的停止时间序列。
• 该构造具有通用性，无需事先了解过程分布或其阶数。