[論文レビュー] Inferring the conditional mean

Gusztáv Morvai, Benjamin Weiss|ArXiv.org|Oct 19, 2007

Time Series Analysis and Forecasting参考文献 13被引用数 10

ひとこと要約

本稿では、定常時系列の条件付き平均 $ E(X_{n+1} \mid X_0, \dots, X_n) $ を、特別に選ばれた停止時刻 $ \lambda_n $ でのみ推定値をサンプリングすることによって推定する非パrametricなアルゴリズムを提案する。この手法により、連続性の仮定なしにほとんど確実な一様収束が達成され、条件付き平均がほとんど確実に連続である場合には、完全な条件付き期待値への収束が得られる。

ABSTRACT

Consider a stationary real-valued time series $\{X_n\}_{n=0}^{\infty}$ with a priori unknown distribution. The goal is to estimate the conditional expectation $E(X_{n+1}|X_0,..., X_n)$ based on the observations $(X_0,..., X_n)$ in a pointwise consistent way. It is well known that this is not possible at all values of $n$. We will estimate it along stopping times.

研究の動機と目的

• 定常過程におけるすべての $ n $ に対して、条件付き平均 $ E(X_{n+1} \mid X_0, \dots, X_n) $ の普遍的かつ一様な点推定が不可能であるという問題に対処すること。
• 特に非パrametricな設定において、すべての $ n $ で失敗する既存のアルゴリズムの限界を克服すること。
• 推定を停止時刻の列 $ \lambda_n $ に制限することで、無限に多くの推定値が得られる一貫性のある推定戦略を構築すること。
• 推定値 $ m_n $ が真の条件付き期待値 $ E(X_{\lambda_n+1} \mid X_0^{\lambda_n}) $ に収束する条件を確立すること、特に条件付き平均がほとんど確実に連続である場合を想定する。

提案手法

• 停止時刻 $ \lambda_n $ を再帰的に定義する。$ \lambda_{n-1} $ の直後で、ブロック $ X_{\lambda_{n-1}+1}^{\lambda_{n-1}+t} $ が初期ブロック $ X_0^t $ と一致する最初の時刻として定義し、パターンの再現性を保証する。
• 実数値観測値を二進区間分割 $[x]^k$ で離散化し、長さ $ 2^{-k} $ の区間へ分割することで、$ \mathbb{R} $ の入れ子になった分割 $ \mathcal{P}_k $ を構成する。
• 推定子 $ m_n = \frac{1}{n} \sum_{j=0}^{n-1} f_j([X_{\lambda_j+1}]^j) $ を構築する。ここで $ f_j $ は各量子化区間に対し、その内部の点への写像を定める。
• 極限過程 $ \tilde{X}^{0}_{-\infty} $ を、$ j \to \infty $ のとき $ X_{\lambda_j - n} $ の極限として定義し、漸近的な過去の挙動を捉える。
• 片側列上の距離 $ d^* $ を用いて、条件付き期待値 $ e(x^{0}_{-\infty}) = E(X_1 \mid X^{0}_{-\infty} = x^{0}_{-\infty}) $ のほとんど確実な連続性を定義する。
• 推定子 $ m_n $ が $ e(\tilde{X}^{0}_{-\infty}) $ にほとんど確実に収束することを証明し、連続性の下では $ E(X_{\lambda_n+1} \mid X_0^{\lambda_n}) $ へ収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 定常時系列において、すべての $ n $ に対して普遍的な非パrametric推定子が、条件付き平均 $ E(X_{n+1} \mid X_0, \dots, X_n) $ を一貫して推定可能か？
• RQ2 すべての $ n $ ではなく、停止時刻の列に制限して推定を行う場合、条件付き平均推定においてほとんど確実な一貫性を達成できるか？
• RQ3 推定子 $ m_n $ が真の条件付き期待値 $ E(X_{\lambda_n+1} \mid X_0^{\lambda_n}) $ に収束する条件は何か？
• RQ4 条件付き期待値のほとんど確実な連続性が推定子の収束を保証するために果たす役割は何か？

主な発見

• 推定子 $ m_n $ はほとんど確実に $ e(\tilde{X}^{0}_{-\infty}) = E(X_1 \mid X^{0}_{-\infty}) $ に収束する。これは無限の過去を条件とする条件付き期待値である。
• $ n \to \infty $ のとき、$ |m_n - E(X_{\lambda_n+1} \mid [X_0^{\lambda_n}]^n)| \to 0 $ がほとんど確実に成り立ち、量子化された推定値の一貫性を示す。
• 条件付き期待値 $ E(X_1 \mid X^{0}_{-\infty}) $ が距離 $ d^* $ に関してほとんど確実に連続であれば、$ |m_n - E(X_{\lambda_n+1} \mid X_0^{\lambda_n})| \to 0 $ がほとんど確実に成り立つ。
• $ X_0 $ の周辺分布に有限または可算個の原子を持つ過程に対しては、連続性の仮定なしに推定子 $ m_n $ はほとんど確実に $ E(X_{\lambda_n+1} \mid X_0^{\lambda_n}) $ に収束する。
• $[0,1]$ の可算部分集合に値をとる定常かつエルゴードなマルコフ連鎖が存在し、$ \limsup_{n \to \infty} |m_n - E(X_{\lambda_n+1} \mid X_0^{\lambda_n})| > 0 $ が正の確率で成り立つ。これは連続性条件の必要性を示している。
• 事象 $ \{X_{\lambda_n} \in A_n \setminus \{0\}\} $ は正の確率で無限回発生する。これは、構築された条件下で推定子のほとんど確実収束を支持する。