[論文レビュー] Forecasting for stationary binary time series

Gusztáv Morvai, Benjamin Weiss|ArXiv.org|Oct 26, 2007

Time Series Analysis and Forecasting参考文献 12被引用数 3

ひとこと要約

この論文は、定常的かつ混合的な2値時系列に対する普遍的予測手順を提案し、適切に選ばれた停止時刻において次の結果の確率を予測することで、概収束を保証する。この手法は、過去のブロックの再現時間に依存し、予測が真の条件付き確率に収束することを保証する。停止時刻はエントロピー率の指数関数的成長を越えない。これは、最小限の仮定のもとで長年の未解決問題を解決する。

ABSTRACT

The forecasting problem for a stationary and ergodic binary time series $\{X_n\}_{n=0}^{\infty}$ is to estimate the probability that $X_{n+1}=1$ based on the observations $X_i$, $0\le i\le n$ without prior knowledge of the distribution of the process $\{X_n\}$. It is known that this is not possible if one estimates at all values of $n$. We present a simple procedure which will attempt to make such a prediction infinitely often at carefully selected stopping times chosen by the algorithm. We show that the proposed procedure is consistent under certain conditions, and we estimate the growth rate of the stopping times.

研究の動機と目的

• 普遍統計における根本的予測問題に取り組むこと：元のプロセス分布の事前知識なしに P(X_{n+1}=1 | X_0,...,X_n) を推定すること。
• 予測を常に n で行うのではなく、特定の停止時刻でのみ行うことで、Baileyの否定的結果を克服すること。
• 概収束する条件付き確率を持つすべての定常的かつ混合的な2値時系列に対して一貫性のある予測スキームを構築すること。
• プロセスのエントロピー率に基づいて、停止時刻の明示的な成長率の上限を確立すること。

提案手法

• アルゴリズムは、長さが増加する過去のブロックの再現時間に基づいて停止時刻 λ_n を選択し、プロセスが典型的な過去のパターンを再訪問することを保証する。
• 各停止時刻 λ_k において、λ_k までの履歴に基づく X_{λ_k+1}=1 の経験的頻度 f_k が予測として計算される。
• 停止時刻 ζ_k は、k 以降で最初にブロック (X_0, ..., X_{k-1}) が過去に再出現する時刻として定義され、エントロピー率 H に基づくしきい値を用いる。
• 典型ブロックが頻繁に再訪問されることを保証するために、Shannon-McMillan-Breiman定理に依存し、尾確率を制御するためにBorel-Cantelli補題を用いる。
• この構成により、予測誤差 |f_k - P(X_{λ_k+1}=1 | X_0,...,X_{λ_k})| が概収束して0に収束することが保証される。
• 停止時刻の成長率は、任意の ε>0 に対して λ_k ≤ 2^{k(H+ε)} が概収束的に成り立つことが保証される。ここで H はエントロピー率である。

実験結果

リサーチクエスチョン

• RQ1 すべての定常的かつ混合的な2値時系列に対して、概収束する条件付き確率を持つ普遍的予測スキームを構築することは可能か？
• RQ2 予測を特定の停止時刻でのみ行う場合に、予測が真の条件付き確率に概収束する可能性はあるか？
• RQ3 普遍的予測において一貫性を保証するための最適な停止時刻の成長率は何か？
• RQ4 プロセスのエントロピー率は、このような予測スキームにおける停止時刻の最小成長率をどのように制約するか？

主な発見

• 提案された予測スキームは、概収束する条件付き確率を持つすべての定常的かつ混合的な2値時系列に対して概収束性を達成する。
• 停止時刻 ζ_k は、任意の ε>0 に対して ζ_k < 2^{k(H+ε)} が概収束的に成り立つ。ここで H はプロセスのエントロピー率である。
• 予測誤差 |f_k - P(X_{λ_k+1}=1 | X_0,...,X_{λ_k})| は、k が増加するにつれて概収束的に0に収束する。
• 停止時刻の成長率はエントロピー率の指数関数的関数で上限が与えられ、再現時間統計の観点から最適である。
• 従来のスキームの指数階層的成長を回避し、より実用的で現実的な停止時刻の系列を提供する。
• この構成は普遍的であり、プロセス分布やその順序に関する事前知識を必要としない。